[论文解读] 3D IoU-Net: IoU Guided 3D Object Detector for Point Clouds

Jiale Li, Shujie Luo+5 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Neural Network Applications参考文献 41被引用 31

一句话总结

提出了 3D IoU-Net，一种两阶段的三维检测器，通过 注意力角点聚合 和 角点几何编码 学习 IoU 感知特征以提升提案置信度，并在推断阶段进行 IoU 对齐。

ABSTRACT

Most existing point cloud based 3D object detectors focus on the tasks of classification and box regression. However, another bottleneck in this area is achieving an accurate detection confidence for the Non-Maximum Suppression (NMS) post-processing. In this paper, we add a 3D IoU prediction branch to the regular classification and regression branches. The predicted IoU is used as the detection confidence for NMS. In order to obtain a more accurate IoU prediction, we propose a 3D IoU-Net with IoU sensitive feature learning and an IoU alignment operation. To obtain a perspective-invariant prediction head, we propose an Attentive Corner Aggregation (ACA) module by aggregating a local point cloud feature from each perspective of eight corners and adaptively weighting the contribution of each perspective with different attentions. We propose a Corner Geometry Encoding (CGE) module for geometry information embedding. To the best of our knowledge, this is the first time geometric embedding information has been introduced in proposal feature learning. These two feature parts are then adaptively fused by a multi-layer perceptron (MLP) network as our IoU sensitive feature. The IoU alignment operation is introduced to resolve the mismatching between the bounding box regression head and IoU prediction, thereby further enhancing the accuracy of IoU prediction. The experimental results on the KITTI car detection benchmark show that 3D IoU-Net with IoU perception achieves state-of-the-art performance.

研究动机与目标

• 说明在 LiDAR 点云中对 3D 边界框使用基于 IoU 的准确置信度的必要性。
• 开发以 IoU 为中心的检测框架，超越基于分类的置信度。
• 引入从透视造成的部分可视性中学习 IoU 敏感特征的模块。
• 提出一个 IoU 对齐过程，以在不额外训练的情况下解决训练与推断之间的不匹配。

提出的方法

• 基于 PointNet++ 主干的两阶段三维检测，用于生成候选框。
• Attentive Corner Aggregation（ACA）使用透视-通道注意力对角点透视特征进行聚合，获得 IoU 敏感表示。
• Corner Geometry Encoding（CGE）将绝对角点几何信息引入 IoU 预测。
• IoU 对齐：通过对细化后的框进行第二次推断来重新评估 IoU，以获得对齐的 IoU 分数。
• 三个预测头共享 IoU 敏感特征：分类、边框回归和 IoU 感知。
• 辅助角点损失和 IoU 损失指导 IoU 预测器的训练。

实验结果

研究问题

• RQ1 基于 IoU 的检测置信度能否在 KITTI 上比传统的分类置信度提升 3D NMS 和整体 AP？
• RQ2 ACA 和 CGE 是否提供透视不变的 IoU 特征，从而改善 IoU 预测？
• RQ3 通过 CGE 引入边框几何信息是否能提升 IoU 感知？
• RQ4 在推断阶段的 IoU 对齐是否在不增加额外训练的情况下缓解 IoU 指派不匹配？

主要发现

• 在 LiDAR 基于的方法中，3D IoU-Net 在 KITTI Car 基准上达到最先进的 3D 检测性能。
• 结合 ACA 与 CGE 的 IoU 感知预测比依赖分类置信度的基线获得更高的 3D AP。
• 推断阶段的 IoU 对齐在不增加额外训练的情况下进一步提升 IoU 预测准确性。
• 在 KITTI 测试集上，3D IoU-Net 获得 87.96% Easy, 79.03% Moderate, 72.78% Hard 3D AP 和 94.76% Easy, 88.38% Moderate, 81.93% Hard BEV AP。
• 消融结果表明，通过对齐 IoU 预测以及使用面向透视的 ACA 特征可获得显著的 mAP 提升。