[论文解读] DTG-SSOD: Dense Teacher Guidance for Semi-Supervised Object Detection

Gang Li, Xiang Li+4 more|arXiv (Cornell University)|Jul 12, 2022

Video Surveillance and Tracking Methods被引用 13

一句话总结

该论文提出DTG-SSOD，一种新颖的半监督目标检测框架，通过直接利用教师模型的密集预测，将传统的'sparse-to-dense'范式替换为'dense-to-dense'方法。该方法引入了逆NMS聚类（Inverse NMS Clustering）与等级匹配（Rank Matching），以对齐学生模型预测与教师模型NMS分组及得分排序，实现在仅使用10%标注数据时COCO数据集上35.9 mAP的最先进性能，较之前方法高出1.9 mAP。

ABSTRACT

The Mean-Teacher (MT) scheme is widely adopted in semi-supervised object detection (SSOD). In MT, the sparse pseudo labels, offered by the final predictions of the teacher (e.g., after Non Maximum Suppression (NMS) post-processing), are adopted for the dense supervision for the student via hand-crafted label assignment. However, the sparse-to-dense paradigm complicates the pipeline of SSOD, and simultaneously neglects the powerful direct, dense teacher supervision. In this paper, we attempt to directly leverage the dense guidance of teacher to supervise student training, i.e., the dense-to-dense paradigm. Specifically, we propose the Inverse NMS Clustering (INC) and Rank Matching (RM) to instantiate the dense supervision, without the widely used, conventional sparse pseudo labels. INC leads the student to group candidate boxes into clusters in NMS as the teacher does, which is implemented by learning grouping information revealed in NMS procedure of the teacher. After obtaining the same grouping scheme as the teacher via INC, the student further imitates the rank distribution of the teacher over clustered candidates through Rank Matching. With the proposed INC and RM, we integrate Dense Teacher Guidance into Semi-Supervised Object Detection (termed DTG-SSOD), successfully abandoning sparse pseudo labels and enabling more informative learning on unlabeled data. On COCO benchmark, our DTG-SSOD achieves state-of-the-art performance under various labelling ratios. For example, under 10% labelling ratio, DTG-SSOD improves the supervised baseline from 26.9 to 35.9 mAP, outperforming the previous best method Soft Teacher by 1.9 points.

研究动机与目标

• 为解决半监督目标检测中'sparse-to-dense'范式存在的局限性，该范式因手工设计的NMS和标签分配过程累积噪声。
• 通过利用教师模型的密集预测而非后处理得到的稀疏伪标签，实现更丰富且直接的教师模型监督。
• 通过保留教师模型学习到的上下文与排序关系，提升在未标注数据上的泛化能力与性能。
• 相比Soft Teacher和Mean-Teacher等现有方法，实现更高的准确率与训练效率。

提出的方法

• 提出'dense-to-dense'范式，直接使用教师模型的密集预测作为监督信号，绕过NMS与稀疏伪标签。
• 引入逆NMS聚类（INC），通过从教师模型NMS过程学习聚类结构，对齐学生模型在NMS中的候选分组与教师模型的分组。
• 采用等级匹配（RM），将教师模型对聚类候选框的得分排序知识迁移至学生模型，保留相对置信度顺序。
• 使用指数移动平均（EMA）从学生模型更新教师模型，维持强且一致的教师模型。
• 将INC与RM提供的密集指导应用于学生模型的分类头与回归头的监督。
• 用基于教师模型NMS输出的分组标签分配替代传统标签分配方式，降低噪声并提升标签质量。

实验结果

研究问题

• RQ1 能否通过直接使用教师模型完整预测集的密集监督，超越标准的'sparse-to-dense'流程，提升半监督目标检测性能？
• RQ2 如何有效引导学生模型复现教师模型的NMS行为，包括提议框的聚类与排序？
• RQ3 是否通过消除NMS与标签分配等中间步骤，可降低噪声并提升在未标注数据上的性能？
• RQ4 所提方法是否能在准确率与训练效率方面优于Soft Teacher与Mean-Teacher等现有最先进方法？

主要发现

• 在10%标注数据比例下，DTG-SSOD在COCO数据集上达到35.9 mAP，优于监督基线（26.9 mAP）与先前最先进方法Soft Teacher的1.9 mAP。
• 在1%标注数据比例下，DTG-SSOD达到27.4 mAP，展现出在极低标注数据下的强鲁棒性。
• 仅使用90k次训练迭代（为Soft Teacher的180k次的一半），DTG-SSOD在10%标注比例下达到33.7 mAP，表明其具有高训练效率。
• 在完全标注设置（100%标注）下，DTG-SSOD将Soft Teacher的训练迭代次数减半，达到44.7 mAP（对比Soft Teacher的44.5 mAP），表明其具备更优的效率与性能。
• 消融实验表明，在INC中使用最终NMS保留的框作为回归目标，性能更优（35.1 mAP），优于使用所有教师框作为目标的情况（34.3 mAP）。
• 定性分析显示，DTG-SSOD通过利用教师模型的置信度与排序信息，更有效地抑制低质量与模糊提议，减少误导性正样本分配。