[论文解读] IoU Loss for 2D/3D Object Detection

Dingfu Zhou, Jin Fang+5 more|arXiv (Cornell University)|Aug 11, 2019

Advanced Neural Network Applications参考文献 27被引用 16

一句话总结

本文提出了一种用于2D和3D目标检测的统一可微IoU损失层，可推广至旋转边界框，使IoU成为优化目标并支持端到端训练。在KITTI基准上，该方法在多个最先进3D检测器上实现了稳定的性能提升，尤其在高IoU阈值下表现显著，通过使训练损失与标准IoU评估指标对齐。

ABSTRACT

In 2D/3D object detection task, Intersection-over-Union (IoU) has been widely employed as an evaluation metric to evaluate the performance of different detectors in the testing stage. However, during the training stage, the common distance loss (\eg, $L_1$ or $L_2$) is often adopted as the loss function to minimize the discrepancy between the predicted and ground truth Bounding Box (Bbox). To eliminate the performance gap between training and testing, the IoU loss has been introduced for 2D object detection in \cite{yu2016unitbox} and \cite{rezatofighi2019generalized}. Unfortunately, all these approaches only work for axis-aligned 2D Bboxes, which cannot be applied for more general object detection task with rotated Bboxes. To resolve this issue, we investigate the IoU computation for two rotated Bboxes first and then implement a unified framework, IoU loss layer for both 2D and 3D object detection tasks. By integrating the implemented IoU loss into several state-of-the-art 3D object detectors, consistent improvements have been achieved for both bird-eye-view 2D detection and point cloud 3D detection on the public KITTI benchmark.

研究动机与目标

• 弥合2D/3D目标检测中训练（使用L1/L2损失）与评估（使用IoU指标）之间的性能差距。
• 将现有仅适用于轴对齐边界框的IoU损失方法扩展至旋转和3D边界框。
• 开发一种统一的、与框架无关的IoU损失层，适用于2D和3D目标检测任务。
• 通过公开的KITTI基准验证所提IoU损失在最先进3D检测器上的有效性。

提出的方法

• 通过解析几何方法推导两个旋转2D边界框的可微IoU计算，以计算交集与并集面积。
• 将IoU计算扩展至具有单一方向自由度的3D边界框，同时保持可微性。
• 提出一种统一的可微IoU损失层，可无缝集成至现有检测框架中，无需架构修改。
• 利用反向传播计算IoU损失相对于预测边界框参数的梯度，从而支持端到端训练。
• 通过将IoU损失集成到多个3D检测器（包括SECOND、PointPillars和Point R-CNN）在KITTI数据集上的实验验证该方法。
• 使用标准KITTI 3D检测基准进行评估，比较不同IoU阈值下的mAP和AP@70。

实验结果

研究问题

• RQ1 能否为旋转2D和3D边界框制定一种可微IoU损失，以实现训练与基于IoU的评估对齐？
• RQ2 将所提出的IoU损失集成到现有3D检测器中，是否能在不同检测基准上实现一致的性能提升？
• RQ3 在mAP和高IoU阈值下的性能方面，所提出的IoU损失与L1损失及其他近期损失（如GIoU）相比表现如何？
• RQ4 该IoU损失能否推广至单阶段和两阶段3D检测框架？

主要发现

• 在SECOND检测器的KITTI验证集上，所提IoU损失使mAP绝对提升了1.01%，达到89.16%的AP@70。
• 在KITTI测试集上，IoU损失使SECOND基线在“中等”类别上mAP提升了0.39%，在“困难”类别上提升了0.86%。
• 在两阶段检测器PointRCNN上，IoU损失优于原始L1损失和GIoU损失，在验证集上达到89.16%的mAP。
• 该方法在KITTI基准上实现了最先进性能，在测试集的“困难”类别中超越了多模态融合和两阶段方法。
• 性能提升在高IoU阈值下最为显著，表明定位精度得到显著改善。