[论文解读] End-to-End Semi-Supervised Object Detection with Soft Teacher

Mengde Xu, Zheng Zhang+6 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种端到端的半监督目标检测框架，采用软教师模型和框抖动（box jittering）来提升伪标签质量和检测性能。通过联合训练学生检测器和通过指数移动平均（EMA）更新的教师模型，并以教师模型的置信度分数加权分类损失，该方法在 COCO 数据集上取得了最先进（SOTA）的性能，将 mAP 为 40.9 的检测器提升至 44.5 mAP，使用了 123K 张未标注图像；同时将基于 Swin Transformer 的检测器在 test-dev2017 上的 mAP 提升至 61.3。

ABSTRACT

This paper presents an end-to-end semi-supervised object detection approach, in contrast to previous more complex multi-stage methods. The end-to-end training gradually improves pseudo label qualities during the curriculum, and the more and more accurate pseudo labels in turn benefit object detection training. We also propose two simple yet effective techniques within this framework: a soft teacher mechanism where the classification loss of each unlabeled bounding box is weighed by the classification score produced by the teacher network; a box jittering approach to select reliable pseudo boxes for the learning of box regression. On the COCO benchmark, the proposed approach outperforms previous methods by a large margin under various labeling ratios, i.e. 1\%, 5\% and 10\%. Moreover, our approach proves to perform also well when the amount of labeled data is relatively large. For example, it can improve a 40.9 mAP baseline detector trained using the full COCO training set by +3.6 mAP, reaching 44.5 mAP, by leveraging the 123K unlabeled images of COCO. On the state-of-the-art Swin Transformer based object detector (58.9 mAP on test-dev), it can still significantly improve the detection accuracy by +1.5 mAP, reaching 60.4 mAP, and improve the instance segmentation accuracy by +1.2 mAP, reaching 52.4 mAP. Further incorporating with the Object365 pre-trained model, the detection accuracy reaches 61.3 mAP and the instance segmentation accuracy reaches 53.0 mAP, pushing the new state-of-the-art.

研究动机与目标

• 解决依赖不准确初始伪标签的多阶段半监督目标检测方法的局限性。
• 通过检测与伪标签生成之间的相互优化，提升训练过程中伪标签的质量。
• 开发一种简单而有效的端到端框架，避免复杂的训练流程。
• 通过置信度加权监督和鲁棒的框选择，更有效地利用未标注数据。
• 在低和高标注比例下均实现最先进性能，包括完整的 COCO 训练集。

提出的方法

• 该框架使用学生模型进行检测训练，教师模型通过指数移动平均（EMA）更新，用于对未标注图像进行在线伪标签生成。
• 软教师机制通过教师模型的置信度分数对每个未标注框的分类损失进行加权，实现更具信息量的监督。
• 应用框抖动技术，通过多个扰动版本的预测框估计回归方差，提升对可靠回归目标的选择能力。
• 使用较高的前景阈值（0.9）对伪标签进行过滤，以确保精度；同时，背景框通过教师置信度加权，以减少漏检。
• 最终损失函数结合了在标注数据上的监督检测损失和在伪标签未标注数据上的无监督检测损失。
• 端到端训练实现了飞轮效应：检测性能的提升带来更好的伪标签，而更好的伪标签又进一步提升检测性能。

Figure 1: The proposed end-to-end pseudo-label based semi-supervised object detection method outperforms the STAC [ 27 ] by a large margin on MS-COCO benchmark.

实验结果

研究问题

• RQ1 端到端训练框架是否能在半监督目标检测中超越多阶段方法？
• RQ2 基于置信度分数的软教师监督如何提升伪标签质量和检测精度？
• RQ3 框抖动对在半监督目标检测中选择可靠回归目标有何影响？
• RQ4 即使在使用完整标注数据的情况下，该方法是否能通过利用大规模未标注数据显著提升性能？
• RQ5 该框架在不同检测器架构（包括最先进 SOTA 的 Swin Transformer 模型）上的表现如何？

主要发现

• 通过利用 123K 张未标注图像，该方法将基于完整 COCO 训练集训练的 40.9 mAP 检测器提升至 44.5 mAP，mAP 提升 3.6 个百分点。
• 在最先进检测器 HTC++(Swin-L) 上，该方法在 test-dev2017 上将 mAP 从 58.9 提升至 60.4，首次突破 60 mAP 大关。
• 在使用 Object365 预训练的情况下，该方法在目标检测上达到 61.3 mAP，在实例分割上达到 53.0 mAP，创下 COCO 数据集新 SOTA 记录。
• 消融实验表明，软教师与框抖动联合使用相比仅使用 EMA 的基线，mAP 提升 3.0 个百分点，其中软教师单独贡献 2.4 个百分点。
• 伪标签过滤的最佳前景阈值为 0.9，最佳框抖动次数为 10 次，性能在 N=10 时趋于饱和。
• 即使使用远少于其他方法的未标注数据（123K vs. 290 万张图像），该方法仍优于先前 SOTA 方法（如 STAC 和自训练方法）。

Figure 2: The overview of the end-to-end pseudo-labeling framework for semi-supervised object detection. Unlabeled images and labeled images form the training data batch. In each training iteration, a soft teacher is applied to perform pseudo-labeling on weak augmented unlabeled images on the fly. T