[论文解读] Interpolation-based semi-supervised learning for object detection

Jisoo Jeong, Vikas Verma+3 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Neural Network Applications参考文献 36被引用 13

一句话总结

本文提出了一种基于插值的半监督目标检测方法（ISD），通过将混合样本分类为I型（两个补丁均来自物体）和II型（一个补丁来自背景），并为每类应用不同的损失函数，解决了将插值正则化直接应用于目标检测的挑战。ISD在PASCAL VOC和COCO基准上实现了最先进性能，在半监督设置下mAP相比基线方法最高提升2.1%，并显著提高了有监督检测的准确率。

ABSTRACT

Despite the data labeling cost for the object detection tasks being substantially more than that of the classification tasks, semi-supervised learning methods for object detection have not been studied much. In this paper, we propose an Interpolation-based Semi-supervised learning method for object Detection (ISD), which considers and solves the problems caused by applying conventional Interpolation Regularization (IR) directly to object detection. We divide the output of the model into two types according to the objectness scores of both original patches that are mixed in IR. Then, we apply a separate loss suitable for each type in an unsupervised manner. The proposed losses dramatically improve the performance of semi-supervised learning as well as supervised learning. In the supervised learning setting, our method improves the baseline methods by a significant margin. In the semi-supervised learning setting, our algorithm improves the performance on a benchmark dataset (PASCAL VOC and MSCOCO) in a benchmark architecture (SSD).

研究动机与目标

• 为解决直接将插值正则化应用于目标检测时面临的挑战，即混合图像中包含背景补丁会引入噪声并降低性能。
• 提出一种新颖的半监督学习框架，根据原始补丁的物体性得分对混合样本进行区分。
• 设计针对类型的损失函数——I型和II型，以提升半监督和有监督检测设置下的泛化能力和鲁棒性。
• 证明ISD在PASCAL VOC和COCO等标准基准上显著优于现有方法。
• 实现与现有半监督方法（如CSD）的有效集成，通过类型感知正则化进一步提升其性能。

提出的方法

• 该方法根据原始补丁的物体性得分，将插值混合图像划分为两类：I型（两个补丁均来自物体类别）和II型（一个补丁来自背景类别）。
• 对于I型样本，应用标准的基于插值的分类与定位损失，确保在混合输入下输出行为呈线性。
• 对于II型样本，应用修改后的损失函数，将混合图像视为前景物体，从而提升对背景噪声和不规则纹理的鲁棒性。
• 混合系数λ从对称的Beta(α, α)分布中采样，以控制插值比例，α值经调优以获得最佳正则化效果。
• ISD损失被集成到SSD检测器中，可与现有半监督学习框架（如CSD）结合，进一步提升性能。
• 该方法设计为与单阶段检测器（如SSD）兼容，而扩展至两阶段检测器则需进一步研究，因RoI不匹配问题仍待解决。

实验结果

研究问题

• RQ1 直接应用插值正则化为何会降低目标检测性能，特别是在混合物体与背景补丁时？
• RQ2 基于原始补丁的物体性得分将混合样本划分为不同类型，是否能实现更有效的半监督目标检测正则化？
• RQ3 针对涉及背景区域的插值样本，哪种类型特定的损失函数最能提升泛化能力？
• RQ4 ISD相较于基线方法，在有监督和半监督目标检测设置下，性能提升程度如何？
• RQ5 混合系数分布选择（Beta(α, α)）对ISD中模型泛化能力和鲁棒性的影响如何？

主要发现

• 在使用VOC07(L)+VOC12(U)训练数据时，ISD将基线CSD方法在PASCAL VOC07测试集上的mAP从72.3%提升至74.4%。
• 仅使用II型分类损失即可使mAP提升1.9个百分点（从72.3%提升至74.0%），证明其具有显著影响。
• 当Beta(α, α)分布中α = 100时性能最佳，结合I型与II型损失后mAP达到74.4%。
• 消融实验表明，II型分类损失对性能提升的贡献大于定位损失，凸显其在处理背景噪声中的关键作用。
• 当与CSD框架结合时，ISD在PASCAL VOC和COCO基准上实现了半监督目标检测的最先进性能。
• 该方法在推理时间与模型大小上与基础SSD保持一致，尽管训练时内存消耗更高，但依然适用于实际部署。