[论文解读] IoU-balanced Loss Functions for Single-stage Object Detection

Shengkai Wu, Jinrong Yang+2 more|arXiv (Cornell University)|Aug 15, 2019

Advanced Neural Network Applications被引用 15

一句话总结

本文提出 IoU 平衡损失函数，通过对齐分类与定位任务，提升单阶段目标检测器的定位精度。提出 IoU 平衡分类损失以优先关注高 IoU 正样本，以及 IoU 平衡定位损失以减少低 IoU 预测的梯度影响，在 COCO 上实现最高 1.7% AP 和 2.4% AP75 的提升。

ABSTRACT

Single-stage object detectors have been widely applied in computer vision applications due to their high efficiency. However, we find that the loss functions adopted by single-stage object detectors hurt the localization accuracy seriously. Firstly, the standard cross-entropy loss for classification is independent of the localization task and drives all the positive examples to learn as high classification scores as possible regardless of localization accuracy during training. As a result, there will be many detections that have high classification scores but low IoU or detections that have low classification scores but high IoU. Secondly, for the standard smooth L1 loss, the gradient is dominated by the outliers that have poor localization accuracy during training. The above two problems will decrease the localization accuracy of single-stage detectors. In this work, IoU-balanced loss functions that consist of IoU-balanced classification loss and IoU-balanced localization loss are proposed to solve the above problems. The IoU-balanced classification loss pays more attention to positive examples with high IoU and can enhance the correlation between classification and localization tasks. The IoU-balanced localization loss decreases the gradient of examples with low IoU and increases the gradient of examples with high IoU, which can improve the localization accuracy of models. Extensive experiments on challenging public datasets such as MS COCO, PASCAL VOC and Cityscapes demonstrate that both IoU-balanced losses can bring substantial improvement for the popular single-stage detectors, especially for the localization accuracy. On COCO test-dev, the proposed methods can substantially improve AP by $1.0\%\sim1.7\%$ and AP75 by $1.0\%\sim2.4\%$. On PASCAL VOC, it can also substantially improve AP by $1.3\%\sim1.5\%$ and AP80, AP90 by $1.6\%\sim3.9\%$.

研究动机与目标

• 解决单阶段检测器中分类与定位之间的错位问题，即高分类分数并不对应准确的边界框。
• 指出标准交叉熵损失与平滑 L1 损失在训练过程中忽略 IoU，导致定位性能下降。
• 提出统一的损失框架，显式引入 IoU，以增强分类置信度与定位质量之间的相关性。
• 通过在反向传播中减少低 IoU、难定位样本的影响，提升模型在挑战性基准上的泛化能力与鲁棒性。

提出的方法

• 提出 IoU 平衡分类损失，根据正样本与真实框的 IoU 重新加权，赋予高 IoU 正样本更高权重。
• 设计 IoU 平衡定位损失，通过 IoU 缩放梯度，降低低 IoU 预测的影响，同时增强高 IoU 预测的梯度。
• 在分类损失中引入可学习的温度参数，以控制 IoU 加权分布的锐度。
• 将损失函数应用于 RetinaNet 和 YOLO 等标准单阶段检测器中，无需架构修改。
• 使用标准优化方法端到端训练，新损失函数替代标准交叉熵与平滑 L1 损失。
• 在保持梯度流动的同时，强调高质量检测结果在反向传播中的重要性。

实验结果

研究问题

• RQ1 在分类训练过程中忽略 IoU 会对单阶段检测器的定位性能产生何种影响？
• RQ2 根据 IoU 重新加权正样本在多大程度上能提升分类置信度与定位精度之间的相关性？
• RQ3 通过降低低 IoU 预测的权重来修改定位损失，是否能带来更好的回归收敛性与泛化能力？
• RQ4 IoU 平衡损失对 COCO、PASCAL VOC 和 Cityscapes 等标准检测基准有何影响？
• RQ5 所提方法是否同时提升了 AP 与 AP75，表明在平均与高 IoU 检测性能上均有增益？

主要发现

• 在 MS COCO test-dev 上，所提 IoU 平衡损失在多个单阶段检测器上实现 1.0% 至 1.7% 的 AP 提升，以及 1.0% 至 2.4% 的 AP75 提升。
• 在 PASCAL VOC 上，该方法实现 1.3% 至 1.5% 的 AP 提升，AP90 最高提升达 3.9%，表明在高 IoU 检测上表现显著增强。
• IoU 平衡定位损失显著降低了训练过程中定位精度差的异常值的影响。
• IoU 平衡分类损失增强了分类置信度与 IoU 之间的相关性，减少了高分但定位质量差的误检。
• 在不同主干网络架构与检测头结构上，性能增益保持一致，表明方法具有良好的模型泛化能力。
• 改进效果在不改变网络架构或增加推理成本的前提下实现，使其适用于实际部署。