[论文解读] Acquisition of Localization Confidence for Accurate Object Detection

Borui Jiang, Ruixuan Luo+3 more|arXiv (Cornell University)|Jul 30, 2018

Advanced Neural Network Applications参考文献 26被引用 56

一句话总结

IoU-Net 为每个检测框预测定位置信度（与真实框的 IoU），从而实现基于 IoU 的 NMS 和基于优化的边界框精细化，提高定位精度并提升与现有检测器的兼容性。

ABSTRACT

Modern CNN-based object detectors rely on bounding box regression and non-maximum suppression to localize objects. While the probabilities for class labels naturally reflect classification confidence, localization confidence is absent. This makes properly localized bounding boxes degenerate during iterative regression or even suppressed during NMS. In the paper we propose IoU-Net learning to predict the IoU between each detected bounding box and the matched ground-truth. The network acquires this confidence of localization, which improves the NMS procedure by preserving accurately localized bounding boxes. Furthermore, an optimization-based bounding box refinement method is proposed, where the predicted IoU is formulated as the objective. Extensive experiments on the MS-COCO dataset show the effectiveness of IoU-Net, as well as its compatibility with and adaptivity to several state-of-the-art object detectors.

研究动机与目标

• 指出基于标准卷积神经网络的检测器缺乏定位置信度及其对 NMS 和边界框精细化的影响。
• 引入 IoU-Net 以预测检测框与真实框之间的 IoU。
• 开发基于预测 IoU 的 IoU 引导 NMS 以及基于优化的边界框精细化。
• 在 MS-COCO 上展示与最先进检测器的兼容性与改进。

提出的方法

• 训练一个 IoU 预测器（IoU-Net），使用来自 FPN 主干的 RoI 特征来估计 IoU(box_det, box_gt)。
• 用精确 RoI 池化替换 RoI 池化，以实现对 IoU 梯度计算的可微、连续池化。
• 利用 IoU 预测执行 IoU 引导的 NMS，按定位置信度排序并在重叠区域内聚合类别分数。
• 提出一个基于优化的边界框精细化，其中 IoU 预测器提供目标，通过精确 RoI 池化进行梯度上升。
• 将 IoU-Net 与现有检测器端到端联合训练，以提升总体 AP。

实验结果

研究问题

• RQ1 学习得到的定位置信度（IoU）是否能够改善边界框选择，并在 NMS 中减少对定位良好的框的抑制？
• RQ2 在不同检测器上，基于 IoU 指引的 NMS 是否优于传统 NMS 和 Soft-NMS？
• RQ3 由 IoU 预测驱动的基于优化的边界框细化是否能提供单调的定位提升？
• RQ4 IoU-Net 是否与现有检测器（如 FPN、Cascade R-CNN 和 Mask R-CNN）兼容并带来收益？
• RQ5 IoU-Net 与检测器的联合训练是否带来可测量的 AP 提升？

主要发现

• 基于 IoU 引导的 NMS 在定位方面有所提升，尤其是在高 IoU 阈值（如 IoU 0.9 及以上）的情况下，相较于传统 NMS 和 Soft-NMS。
• 以 IoU 预测为引导的基于优化的边界框精细化在回归方法之外带来额外的 AP 提升，包括在高 IoU 级别的改进。
• 将 IoU-Net 与检测器联合训练提供适度的 AP 增益（在报道的设置中约为 0.4–0.6 个点），并保持兼容的推理流水线。
• 精确 RoI Pooling 通过对 RoIs 进行连续、可微的池化来实现可微、基于梯度的细化。
• IoU-Net 对推理速度几乎没有影响，同时在多种主干（如 ResNet-50/101 搭配 FPN）和检测器（FPN、Cascade R-CNN、Mask R-CNN）上带来可测量的改进。