[论文解读] IoU-aware Single-stage Object Detector for Accurate Localization

Shengkai Wu, Xiaoping Li+1 more|arXiv (Cornell University)|Dec 12, 2019

Advanced Neural Network Applications参考文献 32被引用 14

一句话总结

本文提出一种IoU感知的单阶段目标检测器，通过为每个检测框预测交并比（IoU）并使用分类分数与预测IoU的乘积作为检测置信度，提升定位精度。该方法改进了NMS和COCO AP计算，在COCO上实现1.7–1.9%更高的AP和2.2–2.5%更高的AP75，在PASCAL VOC上实现2.9–4.4%更高的AP，且未牺牲效率。

ABSTRACT

Due to the simpleness and high efficiency, single-stage object detectors have been widely applied in many computer vision applications . However, the low correlation between the classification score and localization accuracy of the predicted detections has severely hurt the localization accuracy of models. In this paper, IoU-aware single-stage object detector is proposed to solve this problem. Specifically, IoU-aware single-stage object detector predicts the IoU for each detected box. Then the classification score and predicted IoU are multiplied to compute the final detection confidence, which is more correlated with the localization accuracy. The detection confidence is then used as the input of the subsequent NMS and COCO AP computation, which will substantially improve the localization accuracy of models. Sufficient experiments on COCO and PASCAL VOC datasets demonstrate the effectiveness of IoU-aware single-stage object detector on improving model's localization accuracy. Without whistles and bells, the proposed method can substantially improve AP by $1.7\%\sim1.9\%$ and AP75 by $2.2\%\sim2.5\%$ on COCO extit{test-dev}. On PASCAL VOC, the proposed method can substantially improve AP by $2.9\%\sim4.4\%$ and AP80, AP90 by $4.6\%\sim10.2\%$. Code is available here: {https://github.com/ShengkaiWu/IoU-aware-single-stage-object-detector}.

研究动机与目标

• 为解决单阶段目标检测器中分类分数与定位精度相关性较低的问题，该问题会降低平均精度。
• 通过预测IoU引入定位精度信息，改进NMS和AP计算中的检测置信度排序。
• 在显著提升定位性能的同时，保持单阶段检测器的高效性。
• 分析预测IoU与真实IoU之间的差距，为未来改进提供方向。

提出的方法

• 在RetinaNet的回归分支最终层，于回归头并行添加一个额外的IoU预测头。
• 训练期间，IoU头与分类头和回归头联合优化，使用独立的损失函数。
• 推理时，每个框的检测置信度计算为分类分数与预测IoU的乘积。
• 使用IoU感知的置信度分数对检测结果进行NMS排序和COCO AP计算，使其更符合定位精度。
• 在MS COCO和PASCAL VOC数据集上，使用标准指标（包括AP、AP75、AP80和AP90）评估该方法。
• 消融实验对比使用预测IoU与真实IoU的性能，分析预测与实际定位质量之间的差距。

实验结果

研究问题

• RQ1 分类分数与定位精度之间的相关性如何影响单阶段检测器的检测性能？
• RQ2 为每个检测框预测IoU是否能改善NMS和AP计算中的检测排序？
• RQ3 预测IoU与真实IoU之间的性能差距是什么？该差距如何限制模型的进一步提升？
• RQ4 IoU感知的置信度排序是否能在AP75、AP80和AP90等定位指标上带来可测量的提升？

主要发现

• IoU感知检测器在COCO测试开发集上将AP提升1.7–1.9%，AP75提升2.2–2.5%。
• 在PASCAL VOC上，该方法实现AP提升2.9–4.4%，AP80和AP90分别提升4.6–10.2%。
• 预测IoU与真实IoU的相关性仅中等，表明存在较大差距，限制了进一步性能提升。
• 在推理时使用真实IoU可实现检测置信度与定位精度之间的强相关性，验证了该方法的设计合理性。
• 在标准RetinaNet中，定位精度高但分类分数低的检测框常因置信度低而被抑制，而IoU感知版本能更好地保留这些框。
• 大量误检检测框被识别为IoU_eval（0–0.3）但IoU_truth较高的样本，表明即使定位良好，分类错误仍持续存在。