[论文解读] A General Pipeline for 3D Detection of Vehicles

Xinxin Du, Marcelo H. Ang+2 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Neural Network Applications参考文献 33被引用 23

一句话总结

本文提出了一种通用流程，通过融合2D目标检测结果与3D LiDAR点云，使任意2D车辆检测网络能够生成精确的3D边界框。该方法利用广义汽车模型和置信度图实现高效的3D框拟合，随后通过两阶段CNN进行优化，仅对现有2D网络进行最小修改，就在KITTI数据集上实现了SOTA性能，3D检测排名第二。

ABSTRACT

Autonomous driving requires 3D perception of vehicles and other objects in the in environment. Much of the current methods support 2D vehicle detection. This paper proposes a flexible pipeline to adopt any 2D detection network and fuse it with a 3D point cloud to generate 3D information with minimum changes of the 2D detection networks. To identify the 3D box, an effective model fitting algorithm is developed based on generalised car models and score maps. A two-stage convolutional neural network (CNN) is proposed to refine the detected 3D box. This pipeline is tested on the KITTI dataset using two different 2D detection networks. The 3D detection results based on these two networks are similar, demonstrating the flexibility of the proposed pipeline. The results rank second among the 3D detection algorithms, indicating its competencies in 3D detection.

研究动机与目标

• 弥合高性能2D目标检测网络与自动驾驶中对3D感知需求之间的差距。
• 使现有2D目标检测网络在仅进行最小架构修改的情况下，生成精确的3D边界框。
• 开发一种鲁棒且可泛化的流程，将2D检测输出与3D LiDAR点云融合，实现3D车辆定位与尺寸估计。
• 通过两阶段CNN优化流程和广义汽车形状拟合，提升3D检测精度。

提出的方法

• 该流程接收2D检测网络的输出（2D边界框），将其投影到3D空间，以提取对应的3D点云子集。
• 通过模型拟合算法，利用广义汽车模型和置信度图，在投影后的2D框内识别3D车辆点，估计3D边界框参数。
• 应用两阶段CNN对3D框进行优化：第一阶段使用稀疏3D点特征回归3D框，第二阶段重新分配目标性分数。
• 通过在2D网络中增加一个单一回归头以预测车辆尺寸（长、宽、高），实现3D输出，且对网络架构修改极小。
• 该方法同时利用2D CNN的判别能力与LiDAR的几何精度，避免了点云变换带来的信息损失。
• 该流程端到端训练，并在KITTI数据集上使用两种不同的2D网络（PC-CNN和MS-CNN）进行测试。

实验结果

研究问题

• RQ1 能否设计一种通用流程，使任意2D车辆检测网络在仅进行最小修改的情况下，生成3D检测输出？
• RQ2 利用广义汽车模型和置信度图进行模型拟合，在稀疏点云中估计3D车辆边界框的效率如何？
• RQ3 与基线3D框估计方法相比，两阶段CNN在多大程度上提升了3D检测精度？
• RQ4 该流程在不同2D检测架构和真实世界数据分布下的泛化能力如何？

主要发现

• 在KITTI验证集上，该流程在IoU阈值为0.5时实现了87.69%的3D检测平均精度（AP），在3D检测算法中排名第二。
• 当在流程中使用PC-CNN和MS-CNN时，3D检测性能表现相当，证明了该流程在不同2D网络架构间的灵活性与泛化能力。
• 消融实验表明，第一阶段CNN相比模型拟合基线，使3D AP提升了约30%；第二阶段CNN仅带来微小改进，证实其在分数优化中的作用。
• 增加车辆尺寸回归头对2D检测性能影响极小，部分类别甚至出现轻微或可忽略的AP提升。
• 该流程在未进行微调的情况下，对来自美国波士顿的真实世界数据也表现出良好泛化能力，表明其具备强大的鲁棒性与跨数据集迁移能力。