[论文解读] 3D Bounding Box Estimation for Autonomous Vehicles by Cascaded Geometric Constraints and Depurated 2D Detections Using 3D Results

Jiaojiao Fang, Lingtao Zhou+1 more|arXiv (Cornell University)|Sep 1, 2019

Advanced Neural Network Applications参考文献 19被引用 14

一句话总结

本文提出了一种用于自动驾驶车辆的两阶段3D目标检测方法，通过利用级联的几何约束和3D重建的物理世界信息，改进2D检测结果以提升3D边界框估计精度。通过回归视角和底面对中心投影，采用闭式解法计算初始3D框，并利用过定拟合方程进行优化，从而在KITTI数据集上实现最先进的性能，显著提升精度与方向估计准确性，同时有效过滤2D和3D检测中的误报。

ABSTRACT

3D object detection is one of the most important tasks in 3D vision perceptual system of autonomous vehicles. In this paper, we propose a novel two stage 3D object detection method aimed at get the optimal solution of object location in 3D space based on regressing two additional 3D object properties by a deep convolutional neural network and combined with cascaded geometric constraints between the 2D and 3D boxes. First, we modify the existing 3D properties regressing network by adding two additional components, viewpoints classification and the center projection of the 3D bounding box s bottom face. Second, we use the predicted center projection combined with similar triangle constraint to acquire an initial 3D bounding box by a closed-form solution. Then, the location predicted by previous step is used as the initial value of the over-determined equations constructed by 2D and 3D boxes fitting constraint with the configuration determined with the classified viewpoint. Finally, we use the recovered physical world information by the 3D detections to filter out the false detection and false alarm in 2D detections. We compare our method with the state-of-the-arts on the KITTI dataset show that although conceptually simple, our method outperforms more complex and computational expensive methods not only by improving the overall precision of 3D detections, but also increasing the orientation estimation precision. Furthermore our method can deal with the truncated objects to some extent and remove the false alarm and false detections in both 2D and 3D detections.

研究动机与目标

• 通过整合2D与3D边界框之间的几何约束，提升自动驾驶车辆中3D目标检测的精度。
• 利用3D检测结果解决2D目标检测中误报和误报问题的挑战。
• 在不依赖复杂且计算成本高昂的网络架构的前提下，提升3D目标检测中的方向估计精度。
• 通过利用物理世界约束，更稳健地处理3D检测中的遮挡物体。
• 开发一种利用3D结果优化2D检测的方法，从而提升整体检测的可靠性。

提出的方法

• 通过增加视角分类和底面中心投影预测，改进3D回归网络。
• 基于预测的中心投影和相似三角形约束，采用闭式解法计算初始3D边界框。
• 利用2D与3D框拟合约束构建过定方程组，其配置由分类得到的视角决定。
• 将初始3D框预测结果作为优化求解过定系统时的初始点。
• 利用恢复的3D物理世界信息，过滤掉误报的2D检测结果和误报。
• 通过级联的几何约束，结合2D与3D的一致性，逐步优化3D检测结果。

实验结果

研究问题

• RQ1 2D与3D边界框之间的级联几何约束能否提升自动驾驶车辆中3D目标检测的精度？
• RQ2 3D检测结果在多大程度上可用于去噪和优化2D目标检测？
• RQ3 一种简单且闭式求解的初始3D框估计方法，能否在精度与方向估计上超越端到端深度学习方法？
• RQ4 该方法在多大程度上能有效处理3D检测中的遮挡或部分可见物体？
• RQ5 视角分类与中心投影的结合能否提升3D边界框回归的鲁棒性？

主要发现

• 所提方法在KITTI 3D检测基准上达到最先进性能，优于更复杂且计算成本更高的方法。
• 显著提升了整体3D检测精度，尤其在方向估计方面，这对自动驾驶感知至关重要。
• 通过利用3D重建的物理世界约束，有效减少了2D与3D检测中的误报和误报。
• 通过利用2D与3D框之间的几何一致性，对遮挡物体表现出良好的鲁棒性。
• 视角分类与中心投影的结合，使得通过闭式解法实现精确的初始3D框估计成为可能，从而降低对迭代优化的依赖。
• 该方法在保持高效率的同时实现卓越性能，证明几何约束可显著提升检测质量。