[论文解读] Improvement of Classification in One-Stage Detector

Kehe Wu, Zuge Chen+2 more|arXiv (Cornell University)|Nov 20, 2020

Advanced Neural Network Applications参考文献 26被引用 4

一句话总结

本文提出了一项物体置信度任务，以解决RetinaNet等单阶段检测器中分类与定位之间的错位问题。通过与分类任务共享特征，并使用IoU作为正样本的目标值，该方法提升了分类准确率和NMS性能，在相同训练设置下，ResNet50上实现+0.7% AP，ResNet101上实现+1.0% AP。

ABSTRACT

RetinaNet proposed Focal Loss for classification task and improved one-stage detectors greatly. However, there is still a gap between it and two-stage detectors. We analyze the prediction of RetinaNet and find that the misalignment of classification and localization is the main factor. Most of predicted boxes, whose IoU with ground-truth boxes are greater than 0.5, while their classification scores are lower than 0.5, which shows that the classification task still needs to be optimized. In this paper we proposed an object confidence task for this problem, and it shares features with classification task. This task uses IoUs between samples and ground-truth boxes as targets, and it only uses losses of positive samples in training, which can increase loss weight of positive samples in classification task training. Also the joint of classification score and object confidence will be used to guide NMS. Our method can not only improve classification task, but also ease misalignment of classification and localization. To evaluate the effectiveness of this method, we show our experiments on MS COCO 2017 dataset. Without whistles and bells, our method can improve AP by 0.7% and 1.0% on COCO validation dataset with ResNet50 and ResNet101 respectively at same training configs, and it can achieve 38.4% AP with two times training time. Code is at: http://github.com/chenzuge1/RetinaNet-Conf.git.

研究动机与目标

• 解决尽管使用了Focal Loss，单阶段检测器与两阶段检测器之间仍存在的性能差距问题。
• 探究RetinaNet中高IoU定位与低分类分数之间错位现象的根本原因。
• 通过引入一个与分类任务共享特征的新辅助任务，提升分类性能。
• 通过在NMS中联合使用分类分数与物体置信度，减少定位与分类之间的错位。
• 在不改变网络结构或添加额外训练技巧的前提下，实现更高的检测准确率。

提出的方法

• 引入一个物体置信度任务，利用与分类头共享的特征，预测候选框与真实框之间的IoU。
• 仅使用正样本（IoU > 0.5）计算物体置信度损失，并为高质量正样本增加损失权重。
• 通过联合损失目标，与分类头一起训练物体置信度头。
• 在非极大值抑制（NMS）中使用分类分数与物体置信度的乘积作为最终得分。
• 采用与RetinaNet相同的训练配置，不使用数据增强或超参数调优。
• 在MS COCO 2017数据集上，使用相同的主干网络（ResNet50和ResNet101）进行公平比较。

实验结果

研究问题

• RQ1 尽管使用了Focal Loss，为什么RetinaNet仍比两阶段检测器表现较差？
• RQ2 定位与分类之间的错位在多大程度上降低了单阶段检测器的性能？
• RQ3 引入一个预测IoU的辅助物体置信度任务，能否提升分类准确率并减少错位？
• RQ4 将分类分数与物体置信度联合使用，能否提升NMS质量与最终的AP？
• RQ5 该方法能否在不进行网络结构修改或添加额外训练技巧的情况下实现性能提升？

主要发现

• 在相同训练配置下，使用ResNet50时，该方法在MS COCO 2017验证集上实现了0.7%的AP提升。
• 在相同训练设置下，使用ResNet101时，该方法实现了1.0%的AP提升。
• 物体置信度头有效减少了高IoU框与低分类分数之间的错位现象。
• 在NMS中联合使用分类分数与物体置信度，可实现更优的检测框选择。
• 该方法在训练时间加倍的情况下实现了38.4%的AP，展现出良好的可扩展性。
• 性能提升不依赖于网络结构修改或额外的数据增强。