[论文解读] A Dual Weighting Label Assignment Scheme for Object Detection

Shuai Li, Chenhang He+2 more|arXiv (Cornell University)|Mar 18, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文提出了一种用于目标检测的双加权（DW）标签分配方案，该方案基于分类-定位一致性与样本重要性，独立分配正样本和负样本的损失权重，显著提升了检测器性能。仅使用一个FCOS-ResNet-50模型，在1×训练设置下，DW在COCO数据集上达到41.5%的mAP，显著优于现有方法，且无需额外组件。

ABSTRACT

Label assignment (LA), which aims to assign each training sample a positive (pos) and a negative (neg) loss weight, plays an important role in object detection. Existing LA methods mostly focus on the design of pos weighting function, while the neg weight is directly derived from the pos weight. Such a mechanism limits the learning capacity of detectors. In this paper, we explore a new weighting paradigm, termed dual weighting (DW), to specify pos and neg weights separately. We first identify the key influential factors of pos/neg weights by analyzing the evaluation metrics in object detection, and then design the pos and neg weighting functions based on them. Specifically, the pos weight of a sample is determined by the consistency degree between its classification and localization scores, while the neg weight is decomposed into two terms: the probability that it is a neg sample and its importance conditioned on being a neg sample. Such a weighting strategy offers greater flexibility to distinguish between important and less important samples, resulting in a more effective object detector. Equipped with the proposed DW method, a single FCOS-ResNet-50 detector can reach 41.5% mAP on COCO under 1x schedule, outperforming other existing LA methods. It consistently improves the baselines on COCO by a large margin under various backbones without bells and whistles. Code is available at https://github.com/strongwolf/DW.

研究动机与目标

• 为解决现有标签分配方法将正样本与负样本权重耦合的问题，该问题限制了模型的学习能力。
• 通过分别建模正样本与负样本的重要性，实现更细粒度的监督，从而提升检测器性能。
• 通过强调分类分数与定位分数之间的一致性，设计更符合评估指标的标签分配策略。
• 在不依赖额外模块或附加功能的前提下，提升在不同主干网络和检测头上的泛化能力。

提出的方法

• 提出一种双加权（DW）框架，解耦正样本与负样本的损失权重，实现独立优化。
• 将正样本权重定义为分类分数与回归分数之间一致性的函数，偏好预测一致的候选框。
• 将负样本权重分解为两部分：作为负样本的概率，以及在被判定为负样本时的重要性。
• 引入一种边界框精炼操作，直接在回归特征图上对边界框进行优化，以提升定位精度。
• 采用一种动态加权机制，通过预测一致性区分IoU或分类分数相近的候选框。
• 采用损失函数形式，使正样本与负样本权重分别学习，从而实现更具区分性的监督。

实验结果

研究问题

• RQ1 如何通过解耦正样本与负样本权重来改进目标检测中的标签分配？
• RQ2 在目标检测中，哪些因素最影响正样本与负样本的重要性？
• RQ3 对正样本与负样本权重进行独立建模，是否能提升在不同主干网络和检测头上的泛化能力？
• RQ4 分类分数与定位分数之间的一致性如何影响训练效率？
• RQ5 双加权方案是否能降低模糊或简单样本的影响，同时增强对困难样本的学习？

主要发现

• 所提出的DW方法在单个FCOS-ResNet-50检测器、1×训练设置下，于COCO数据集上达到41.5%的mAP，创下新的最先进水平。
• DW在不引入额外模块的前提下，显著提升了所有主干网络架构（包括ResNet-50、ResNet-101和ResNeXt-101-64x4d）的基线检测器性能。
• 结合边界框精炼后，DW在ResNet-50上达到42.2%的mAP，进一步提升了性能。
• 在ResNeXt-101-64x4d上，DW达到48.2%的mAP，较GFL高出2.2个百分点，较VFL高出0.7个百分点。
• 当与TOOD头结合时，DW达到49.8%的mAP，较TOOD高出1.5个百分点，展现出强大的泛化能力。
• 可视化结果表明，DW能为IoU或分类分数相近的候选框分配不同的（正, 负）权重对，而GFL与VFL则倾向于分配几乎相同的权重。