[论文解读] Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training

Fangyuan Zhang, Tianxiang Pan+1 more|arXiv (Cornell University)|Jul 11, 2021

Advanced Neural Network Applications被引用 5

一句话总结

本文提出自适应类别重平衡自训练（ACRST），一种半监督目标检测方法，通过新颖的内存模块CropBank从有标签和无标签数据中提取并重组前景实例，实现自适应的数据重平衡。通过同时解决前景-背景和前景-前景类别不平衡问题，采用前景-背景重平衡（FBR）与自适应前景-前景重平衡（AFFR），并结合基于分类置信度与图像级伪标签的两阶段过滤机制，ACRST在1% COCO标准基准上实现最先进性能，mAP较之前方法提升5.32。

ABSTRACT

This study delves into semi-supervised object detection (SSOD) to improve detector performance with additional unlabeled data. State-of-the-art SSOD performance has been achieved recently by self-training, in which training supervision consists of ground truths and pseudo-labels. In current studies, we observe that class imbalance in SSOD severely impedes the effectiveness of self-training. To address the class imbalance, we propose adaptive class-rebalancing self-training (ACRST) with a novel memory module called CropBank. ACRST adaptively rebalances the training data with foreground instances extracted from the CropBank, thereby alleviating the class imbalance. Owing to the high complexity of detection tasks, we observe that both self-training and data-rebalancing suffer from noisy pseudo-labels in SSOD. Therefore, we propose a novel two-stage filtering algorithm to generate accurate pseudo-labels. Our method achieves satisfactory improvements on MS-COCO and VOC benchmarks. When using only 1\% labeled data in MS-COCO, our method achieves 17.02 mAP improvement over supervised baselines, and 5.32 mAP improvement compared with state-of-the-art methods.

研究动机与目标

• 解决半监督目标检测（SSOD）中严重的类别不平衡问题，特别是前景-背景与前景-前景不平衡，该问题会阻碍自训练的有效性。
• 克服现有自训练方法在分类任务中设计的局限性，这些方法在检测任务中因复杂的数据分布与噪声伪标签而表现欠佳。
• 开发一种检测专用的数据增强与重平衡机制，解耦纠缠的物体实例，实现自适应、均衡的训练。
• 通过引入基于分类置信度与高层图像级伪标签的两阶段过滤机制，提升伪标签质量，降低自训练中的噪声。
• 在MS-COCO与VOC基准上实现最先进性能，且仅使用极少有标签数据，尤其在低数据场景下（如1%有标签数据）表现优异。

提出的方法

• 引入CropBank，一种内存模块，用于从有标签与无标签数据中存储并检索前景实例（真实框与伪标签），以实现数据重组。
• 设计前景-背景重平衡（FBR），通过从CropBank中提取的裁剪前景实例增强训练图像，以提高前景实例的比例。
• 提出自适应前景-前景重平衡（AFFR），利用伪召回标准检测并优先处理伪标签中代表性不足的类别。
• 实施两阶段过滤算法：首先过滤低置信度预测，然后进一步过滤与来自半监督多标签分类模块的图像级伪标签不一致的预测。
• 将过滤机制整合进自训练循环，迭代优化在重平衡、高质量伪标签数据上的检测器性能。
• 采用选择性监督，将不完整的预测迁移至新背景，提升回归精度并减少检测目标中的噪声。

实验结果

研究问题

• RQ1 如何通过数据重加权与增强有效缓解半监督目标检测中的前景-背景类别不平衡？
• RQ2 基于伪召回与置信度度量的自适应采样在多大程度上可减少伪标签中的前景-前景类别不平衡？
• RQ3 与仅依赖置信度的过滤相比，高层语义（图像级伪标签）是否能提升检测任务中伪标签过滤的可靠性？
• RQ4 与MixUp或CutMix等标准方法相比，检测专用内存模块（CropBank）在数据增强与重平衡方面有何增强效果？
• RQ5 伪标签中的噪声对自训练收敛有何影响？在复杂检测场景中，如何系统性地减少此类噪声？

主要发现

• 在1% COCO标准基准上，ACRST相较于完全监督基线模型mAP提升17.02，相较于最先进方法提升5.32。
• 两阶段过滤机制将伪标签准确率从0.735提升至0.792，mAP从20.75提升至23.48，证明结合置信度与图像级语义的有效性。
• 与STAC基线中的MixUp和Mosaic数据增强相比，CropBank将AP_{50:95}提升0.85（从16.00提升至16.85）。
• 自适应前景-前景重平衡（AFFR）机制在两阶段挖掘设置下，将伪标签召回率从0.299提升至0.376，表明对稀有类别的覆盖能力更强。
• 在VOC07基准上，仅使用VOC07作为有标签数据，该方法较最先进方法mAP提升1.43。
• 实验表明，更高的伪标签准确率比更高的召回率更为关键，尽管两阶段过滤策略召回率较低，但相比单阶段过滤仍带来2.73 mAP的增益。