[论文解读] NOTE-RCNN: NOise Tolerant Ensemble RCNN for Semi-Supervised Object Detection

Jiyang Gao, Jiang Wang+3 more|arXiv (Cornell University)|Dec 1, 2018

Advanced Neural Network Applications参考文献 21被引用 7

一句话总结

本文提出 NOTE-RCNN，一种用于弱监督目标检测的噪声容忍集成 RCNN 框架，利用少量种子边界框和大规模图像级别标签。通过使用分类头的集成、来自预训练教师的蒸馏知识、对负样本损失进行掩码以减少误检影响，以及仅在高质量种子标注上训练边界框回归头，该方法在 MSCOCO 2017 上实现了 43.7% 的 SOTA mAP。

ABSTRACT

The labeling cost of large number of bounding boxes is one of the main challenges for training modern object detectors. To reduce the dependence on expensive bounding box annotations, we propose a new semi-supervised object detection formulation, in which a few seed box level annotations and a large scale of image level annotations are used to train the detector. We adopt a training-mining framework, which is widely used in weakly supervised object detection tasks. However, the mining process inherently introduces various kinds of labelling noises: false negatives, false positives and inaccurate boundaries, which can be harmful for training the standard object detectors (e.g. Faster RCNN). We propose a novel NOise Tolerant Ensemble RCNN (NOTE-RCNN) object detector to handle such noisy labels. Comparing to standard Faster RCNN, it contains three highlights: an ensemble of two classification heads and a distillation head to avoid overfitting on noisy labels and improve the mining precision, masking the negative sample loss in box predictor to avoid the harm of false negative labels, and training box regression head only on seed annotations to eliminate the harm from inaccurate boundaries of mined bounding boxes. We evaluate the methods on ILSVRC 2013 and MSCOCO 2017 dataset; we observe that the detection accuracy consistently improves as we iterate between mining and training steps, and state-of-the-art performance is achieved.

研究动机与目标

• 通过提出一种结合有限种子边界框标注与丰富图像级别标签的弱监督学习范式，解决目标检测中边界框标注的高成本问题。
• 克服在弱监督目标检测的迭代式训练-挖掘过程中引入的标签噪声问题，包括误检、漏检和边界框不准确。
• 在仅提供少量标注边界框的低资源环境下，提升检测性能与鲁棒性。
• 设计一种对噪声标注具有鲁棒性的新型检测器架构，同时保持高定位与分类精度。
• 在多个训练-挖掘迭代中持续实现性能提升，即使在大规模图像级别监督下也表现出色。

提出的方法

• 提出一种训练-挖掘流水线，交替进行检测器训练与利用种子标注和图像级别标签进行提议优化。
• 在边界框预测头中引入两个分类头的集成：一个仅在种子边界框上训练，另一个在种子框与挖掘出的框上联合训练，最终置信度预测通过共识机制减少误检。
• 增加一个蒸馏头，将源类别上预训练检测器的知识迁移至模型中，以正则化训练过程并防止在噪声标签上过拟合。
• 在边界框预测头中对负样本（背景）的交叉熵损失进行掩码，以缓解训练过程中误检标签的影响。
• 将边界框回归头的训练严格限制在种子标注上，以避免从挖掘出的边界框中学习到不准确的边界。
• 采用混合策略——“半蒸馏”（half-distill）——在初期应用蒸馏以提升标注质量，随后关闭蒸馏以在后期迭代中增加挖掘框的数量。

实验结果

研究问题

• RQ1 结合少量种子边界框与大规模图像级别标签的弱监督目标检测框架，是否能优于完全弱监督的方法？
• RQ2 如何使目标检测器对在迭代挖掘过程中引入的三类主要噪声——误检、漏检和边界框不准确——具有鲁棒性？
• RQ3 从预训练检测器在源类别上的知识蒸馏，能在多大程度上提升泛化能力并减少在噪声标注上的过拟合？
• RQ4 仅对种子标注进行边界框回归训练，与在挖掘框上端到端训练相比，是否能显著提升定位精度？
• RQ5 通过挖掘与重训练迭代优化提议，是否能持续提升检测 mAP，即使从极少数种子标注开始？

主要发现

• 所提出的 NOTE-RCNN 在 MSCOCO 2017 数据集上实现了 43.7% 的 SOTA mAP，优于所有先前方法。
• 在 ILSVRC 2013 上，不使用蒸馏时 mAP 达 42.6%，使用蒸馏后提升至 43.7%，超过此前 SOTA 的 39.9%。
• “半蒸馏”策略（在早期迭代中使用蒸馏，后期关闭）在后续阶段带来性能增益，表明高质量初始标注至关重要。
• 在训练-挖掘循环的多个迭代中，性能持续提升，证明了所提出的噪声容忍设计具有稳定性和有效性。
• 即使在种子标注数量较大时（如完整 MSCOCO），该方法仍通过三次迭代将 mAP 从 32.2% 提升至 34.0%，表明图像级别数据在大规模下依然具有价值。
• 消融实验确认，每个组件——集成头、损失掩码、蒸馏和仅种子回归——均对性能提升有显著贡献，尤其在噪声环境下表现突出。