[论文解读] Towards Noise-resistant Object Detection with Noisy Annotations

Junnan Li, Caiming Xiong+2 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Neural Network Applications参考文献 47被引用 15

一句话总结

本文提出了一种抗噪声目标检测框架，通过联合优化模型参数、目标标签和边界框坐标，以处理训练数据中纠缠的标签噪声与边界框噪声。该方法采用两步法：首先，通过分类器分歧与置信度分数实现与类别无关的边界框校正，以分离定位误差与标签误差；其次，采用双分支知识蒸馏进行软标签校正与类别特定的边界框优化，从而在高噪声水平下于PASCAL VOC与MS-COCO数据集上实现最先进性能。

ABSTRACT

Training deep object detectors requires significant amount of human-annotated images with accurate object labels and bounding box coordinates, which are extremely expensive to acquire. Noisy annotations are much more easily accessible, but they could be detrimental for learning. We address the challenging problem of training object detectors with noisy annotations, where the noise contains a mixture of label noise and bounding box noise. We propose a learning framework which jointly optimizes object labels, bounding box coordinates, and model parameters by performing alternating noise correction and model training. To disentangle label noise and bounding box noise, we propose a two-step noise correction method. The first step performs class-agnostic bounding box correction by minimizing classifier discrepancy and maximizing region objectness. The second step distils knowledge from dual detection heads for soft label correction and class-specific bounding box refinement. We conduct experiments on PASCAL VOC and MS-COCO dataset with both synthetic noise and machine-generated noise. Our method achieves state-of-the-art performance by effectively cleaning both label noise and bounding box noise. Code to reproduce all results will be released.

研究动机与目标

• 解决在训练数据中同时存在纠缠标签噪声与边界框噪声时，训练准确目标检测器的挑战。
• 通过构建仅依赖于噪声数据的自校正学习框架，消除对干净标注的依赖。
• 分离标签噪声与边界框噪声的影响，这些噪声原本因共享损失信号而相互混淆。
• 提升在真实世界场景中的泛化能力与鲁棒性，尤其是在高质量标注成本高昂或不可用的情况下。

提出的方法

• 提出与类别无关的边界框校正（CA-BBC），通过最小化分类器差异与最大化置信度分数，独立于类别标签优化噪声边界框。
• 使用两个分支检测头预测同一图像区域，通过基于分歧的边界框校正，无需依赖真实类别标签。
• 通过双分支知识蒸馏生成软标签并优化类别特定的边界框偏移量，采用温度控制的标签锐化以提升置信度校准效果。
• 在噪声校正与模型训练阶段之间交替进行，通过自增强循环联合优化标注与模型参数。
• 采用发散度度量（分类器差异）确保训练过程中两个分支保持足够差异，从而增强噪声过滤能力。
• 在CA-BBC步骤中利用置信度分数剔除低置信度边界框作为假阳性样本。

实验结果

研究问题

• RQ1 两步噪声校正框架能否有效分离目标检测中标签噪声与边界框噪声？
• RQ2 在同时存在标签与定位误差时，与类别无关的边界框校正是否能提升模型鲁棒性？
• RQ3 结合软标签与优化边界框的双分支知识蒸馏是否能超越单分支或基线噪声校正方法？
• RQ4 软标签生成中的温度超参数在噪声标注下如何影响模型性能？
• RQ5 该框架在无干净数据访问条件下，对真实世界机器生成标注的泛化能力如何？

主要发现

• 所提方法在PASCAL VOC与MS-COCO基准测试中，于高合成噪声与机器生成噪声水平下均达到最先进性能。
• 消融实验表明，移除CA-BBC会导致性能显著下降，尤其在40%边界框噪声下，验证了其在分离噪声类型中的关键作用。
• 使用单个检测头进行噪声校正会导致确认偏差并降低性能，证明双分支蒸馏的优势。
• 软标签蒸馏的最优温度值约为0.4，温度在0.2至0.6之间时性能稳定。
• 通过分类器差异度量，两检测头在整个训练过程中保持足够发散，这对有效噪声过滤至关重要。
• 定性结果表明，该方法能有效校正误定位边界框，并在软标签中为正确类别分配更高置信度。