[论文解读] Learning from Noisy Anchors for One-stage Object Detection

Hengduo Li, Zuxuan Wu+4 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Neural Network Applications参考文献 27被引用 6

一句话总结

本文提出一种方法，通过为每个锚框引入基于回归和分类分支输出的动态清洁度分数，以减少单阶段目标检测器中的标签噪声。该分数作为软标签和重加权因子，使RetinaNet在COCO数据集上使用多种主干网络时性能提升约2%，且无需额外推理成本。

ABSTRACT

State-of-the-art object detectors rely on regressing and classifying an extensive list of possible anchors, which are divided into positive and negative samples based on their intersection-over-union (IoU) with corresponding groundtruth objects. Such a harsh split conditioned on IoU results in binary labels that are potentially noisy and challenging for training. In this paper, we propose to mitigate noise incurred by imperfect label assignment such that the contributions of anchors are dynamically determined by a carefully constructed cleanliness score associated with each anchor. Exploring outputs from both regression and classification branches, the cleanliness scores, estimated without incurring any additional computational overhead, are used not only as soft labels to supervise the training of the classification branch but also sample re-weighting factors for improved localization and classification accuracy. We conduct extensive experiments on COCO, and demonstrate, among other things, the proposed approach steadily improves RetinaNet by ~2% with various backbones.

研究动机与目标

• 解决基于IoU阈值的二元锚框标签（正/负）固有的噪声问题，此类问题可能导致语义上有意义但部分重叠的锚框被错误标注。
• 通过将硬性二元标签替换为连续可学习的清洁度分数，降低噪声标签对训练的影响。
• 通过基于预测可靠性的动态加权锚框，同时提升分类和定位的准确性。
• 在推理阶段，特别是在使用NMS时，弥合分类置信度与定位准确率之间的差距。
• 开发一种在推理阶段无需额外计算开销的方法，使其适用于实际部署。

提出的方法

• 为每个锚框计算一个清洁度分数，该分数结合了回归头输出的定位精度和分类头输出的分类置信度。
• 清洁度分数作为软标签用于监督分类分支，替代二元标签，从而降低在噪声样本上的过自信现象。
• 该分数被用作分类和回归损失函数中的非线性重加权因子，以在训练过程中优先关注高质量锚框。
• 该方法端到端可微，且在推理阶段不引入额外计算开销。
• 通过利用网络预测结果作为标签质量的代理，隐式建模了标签不确定性。
• 通过关联定位和分类分支的输出，实现两者的集成，提升训练与推理之间的一致性。

实验结果

研究问题

• RQ1 能否通过网络输出动态生成的连续清洁度分数，有效降低单阶段目标检测中噪声锚框标签的影响？
• RQ2 基于清洁度分数的软标签在多大程度上能提升分类头的泛化能力并减少过自信现象？
• RQ3 根据清洁度分数对锚框进行重加权，能在多大程度上同时提升定位和分类性能？
• RQ4 所提出的方法是否能减少在NMS过程中分类置信度与定位准确率之间的差异？
• RQ5 该方法是否能在不同物体尺寸、IoU阈值和主干网络架构下保持一致的性能提升？

主要发现

• 所提方法在COCO数据集上使用多种主干网络时，使RetinaNet的AP（平均精度）提升约2%，表现出稳定的增益。
• 在NMS后，该方法的平均IoU达到0.921，高于基线的0.914，表明分类置信度与定位准确率之间对齐更好。
• 分类置信度与IoU之间的皮尔逊相关系数从基线的0.169提升至0.194，表明置信度与定位质量之间的一致性得到改善。
• 该方法能有效降低模糊锚框（如覆盖遮挡或无关物体的锚框）的权重，展现出对噪声提议的鲁棒性。
• 定性分析表明，语义相关性低但IoU较高的锚框被有效降低权重，验证了模型检测并缓解标签噪声的能力。
• 该方法在不同IoU阈值、物体尺寸和最大预测数量下均保持性能增益，表明其具有广泛的适用性。