[论文解读] Scale-Equivalent Distillation for Semi-Supervised Object Detection

Qiushan Guo, Yao Mu+4 more|arXiv (Cornell University)|Mar 23, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种新型端到端知识蒸馏框架——尺度等价蒸馏（Scale-Equivalent Distillation, SED），用于弱监督目标检测，以解决大目标尺寸差异、假阴性样本及类别不平衡问题。通过在特征图间强制实现尺度一致性，并结合重加权的自蒸馏机制，SED 在仅使用 MS-COCO 数据集 5% 和 10% 标注数据的情况下，mAP 超过监督基线模型超过 10 个百分点，达到当前最优性能。

ABSTRACT

Recent Semi-Supervised Object Detection (SS-OD) methods are mainly based on self-training, i.e., generating hard pseudo-labels by a teacher model on unlabeled data as supervisory signals. Although they achieved certain success, the limited labeled data in semi-supervised learning scales up the challenges of object detection. We analyze the challenges these methods meet with the empirical experiment results. We find that the massive False Negative samples and inferior localization precision lack consideration. Besides, the large variance of object sizes and class imbalance (i.e., the extreme ratio between background and object) hinder the performance of prior arts. Further, we overcome these challenges by introducing a novel approach, Scale-Equivalent Distillation (SED), which is a simple yet effective end-to-end knowledge distillation framework robust to large object size variance and class imbalance. SED has several appealing benefits compared to the previous works. (1) SED imposes a consistency regularization to handle the large scale variance problem. (2) SED alleviates the noise problem from the False Negative samples and inferior localization precision. (3) A re-weighting strategy can implicitly screen the potential foreground regions of the unlabeled data to reduce the effect of class imbalance. Extensive experiments show that SED consistently outperforms the recent state-of-the-art methods on different datasets with significant margins. For example, it surpasses the supervised counterpart by more than 10 mAP when using 5% and 10% labeled data on MS-COCO.

研究动机与目标

• 解决弱监督目标检测中因目标尺寸差异过大而导致的模型泛化能力下降问题。
• 降低来自困难伪标签中假阴性预测与定位不准确所引入的噪声。
• 缓解无标注数据中前景与背景区域之间的严重类别不平衡问题。
• 在低监督设置下，通过一种简单且端到端的蒸馏框架提升检测性能。
• 在不依赖多尺度推理集成的前提下，实现不同输入尺度下预测结果的一致性。

提出的方法

• 通过强制同一对象在不同尺度下的预测在特征层面保持一致性，引入尺度一致性正则化。
• 应用自蒸馏机制，通过促进教师模型与学生模型预测的一致性，降低假阴性样本带来的噪声影响。
• 实施一种重加权策略，降低背景区域的权重，同时增强无标注数据中潜在前景区域的关注度。
• 设计一种端到端训练流程，使学生模型既能从标注数据中学习，也能从教师模型在无标注数据上蒸馏的知识中获益。
• 基于特征图与边界框回归设计一致性损失，以在特征金字塔的不同层级间保持尺度等价性。
• 采用学生-教师框架进行知识蒸馏，联合优化检测精度与尺度不变性。

实验结果

研究问题

• RQ1 在弱监督设置下，不同输入尺寸之间的尺度不一致性如何损害目标检测性能？
• RQ2 困难伪标签中的假阴性预测与定位误差在多大程度上限制了现有自训练方法的性能？
• RQ3 重加权机制是否能有效缓解无标注数据中极端前景-背景类别不平衡的影响？
• RQ4 强制实施尺度等价知识蒸馏是否能带来在不同目标尺度下一致且鲁棒的检测表现？
• RQ5 一种简单且端到端的蒸馏框架是否能在弱监督目标检测中超越复杂的多阶段自训练流水线？

主要发现

• 在仅使用 5% 标注数据的 MS-COCO 数据集上，SED 相较于监督基线模型 RetinaNet 实现了 10.2 mAP 的性能提升。
• 在使用 10% 标注数据时，SED 相较于监督基线模型在 MS-COCO 上实现了 10.8 mAP 的 mAP 提升。
• 消融实验表明，该方法显著降低了假阴性率，IoU=0.9 时的召回率从低于 0.2 提升至超过 0.4。
• 尺度一致性正则化有效降低了不同输入尺度下的预测方差，增强了对尺度变化的鲁棒性。
• 重加权策略有效抑制了背景梯度主导问题，改善了前景特征的学习效果。
• 在 MS-COCO、Pascal VOC 和 COCO-100 各数据集上，SED 在多种标注数据设置下均持续优于当前最先进方法。