[论文解读] DR Loss: Improving Object Detection by Distributional Ranking

Qi Qian, Lei Chen+2 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Neural Network Applications参考文献 27被引用 9

一句话总结

本文提出分布排名（Distributional Ranking, DR）损失，一种新颖的图像相关损失函数，通过将分类问题转化为前景与背景候选之间的排序问题，提升单阶段目标检测性能。通过将置信度分数分布推向决策边界并对其期望进行排序，DR损失缓解了类间与类内不平衡问题，在使用ResNet-101作为主干网络时，将RetinaNet在COCO上的mAP从39.1%提升至41.7%，优于焦点损失，且无需架构修改。

ABSTRACT

Most of object detection algorithms can be categorized into two classes: two-stage detectors and one-stage detectors. Recently, many efforts have been devoted to one-stage detectors for the simple yet effective architecture. Different from two-stage detectors, one-stage detectors aim to identify foreground objects from all candidates in a single stage. This architecture is efficient but can suffer from the imbalance issue with respect to two aspects: the inter-class imbalance between the number of candidates from foreground and background classes and the intra-class imbalance in the hardness of background candidates, where only a few candidates are hard to be identified. In this work, we propose a novel distributional ranking (DR) loss to handle the challenge. For each image, we convert the classification problem to a ranking problem, which considers pairs of candidates within the image, to address the inter-class imbalance problem. Then, we push the distributions of confidence scores for foreground and background towards the decision boundary. After that, we optimize the rank of the expectations of derived distributions in lieu of original pairs. Our method not only mitigates the intra-class imbalance issue in background candidates but also improves the efficiency for the ranking algorithm. By merely replacing the focal loss in RetinaNet with the developed DR loss and applying ResNet-101 as the backbone, mAP of the single-scale test on COCO can be improved from 39.1% to 41.7% without bells and whistles, which demonstrates the effectiveness of the proposed loss function. Code is available at \url{https://github.com/idstcv/DR_loss}.

研究动机与目标

• 解决单阶段目标检测器中前景与背景候选之间的类间不平衡问题。
• 缓解背景候选中的类内不平衡问题，其中仅有少数样本难以分类。
• 开发一种利用全局图像级信息以更好排序难样本的图像相关损失函数。
• 通过优化分布期望而非单个样本，超越焦点损失以提升检测性能。
• 在仅替换RetinaNet中分类损失的前提下，实现最先进性能，且改动极小。

提出的方法

• 将目标检测分类任务转化为每张图像内的成对排序问题，平衡正负样本对。
• 重新加权样本，推动前景与背景置信度分数分布向决策边界靠拢。
• 通过强调难样本的约束条件，从原始分数中推导出新分布。
• 对推导出的前景与背景分布的期望进行排序，而非对单个样本对排序，将计算复杂度从O(n²)降低至O(1)。
• 优化前景与背景分布期望之间的排序边界，以提升泛化能力。
• 将DR损失作为插件式替换应用于RetinaNet中的焦点损失，保留所有其他组件与训练协议。

实验结果

研究问题

• RQ1 基于图像级分布的排序损失函数是否能在超越类别平衡采样或焦点损失的基础上提升目标检测性能？
• RQ2 考虑置信度分数完整分布的图像相关损失如何影响对难负样本的处理？
• RQ3 DR损失在保持或提升mAP的同时，能在多大程度上缓解背景候选中的类内不平衡？
• RQ4 优化推导分布的期望是否能带来优于优化单个样本损失的泛化性能？
• RQ5 DR损失是否能在不进行架构修改或额外数据增强的情况下实现最先进性能？

主要发现

• 在RetinaNet中用DR损失替换焦点损失，使用ResNet-101作为主干网络时，COCO上的mAP从39.1%提升至41.7%，且无需额外技巧。
• 在DR损失下，前景置信度分布的期望超过0.5，而背景期望低于0.1，表明类别分离效果显著。
• 与交叉熵或焦点损失相比，DR损失下负样本锚点的分布更加均衡，表明对难负样本的处理能力得到改善。
• 在使用ResNeXt-32x8d-101主干网络并训练1.5倍迭代次数时，DR-Retina达到43.1% mAP，展现出良好的可扩展性与鲁棒性。
• 通过多尺度测试，性能进一步提升至44.7% mAP（使用ResNeXt-32x8d-101），表明与标准测试时增强方法兼容。
• 经验概率密度图证实，DR损失显著改善了前景分布，并减少了与背景的重叠，验证了其在平衡类别与难度不平衡方面的有效性。