[论文解读] Ground Plane Matters: Picking Up Ground Plane Prior in Monocular 3D Object Detection

Fan Yang, Xinhao Xu+5 more|arXiv (Cornell University)|Nov 3, 2022

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出 GPENet，一种单目 3D 目标检测网络，通过利用地面接触点和地平线线估计来精确建模地面平面，解决了投影点定位和地面平面倾斜的关键问题。通过使用带有伪标签接触点和地平线线的动态反投影方法，GPENet 在 KITTI 和 nuScenes 数据集上实现了最先进性能，显著提升了所有距离范围内的 3D 棱柱框准确率和深度估计。

ABSTRACT

The ground plane prior is a very informative geometry clue in monocular 3D object detection (M3OD). However, it has been neglected by most mainstream methods. In this paper, we identify two key factors that limit the applicability of ground plane prior: the projection point localization issue and the ground plane tilt issue. To pick up the ground plane prior for M3OD, we propose a Ground Plane Enhanced Network (GPENet) which resolves both issues at one go. For the projection point localization issue, instead of using the bottom vertices or bottom center of the 3D bounding box (BBox), we leverage the object's ground contact points, which are explicit pixels in the image and easy for the neural network to detect. For the ground plane tilt problem, our GPENet estimates the horizon line in the image and derives a novel mathematical expression to accurately estimate the ground plane equation. An unsupervised vertical edge mining algorithm is also proposed to address the occlusion of the horizon line. Furthermore, we design a novel 3D bounding box deduction method based on a dynamic back projection algorithm, which could take advantage of the accurate contact points and the ground plane equation. Additionally, using only M3OD labels, contact point and horizon line pseudo labels can be easily generated with NO extra data collection and label annotation cost. Extensive experiments on the popular KITTI benchmark show that our GPENet can outperform other methods and achieve state-of-the-art performance, well demonstrating the effectiveness and the superiority of the proposed approach. Moreover, our GPENet works better than other methods in cross-dataset evaluation on the nuScenes dataset. Our code and models will be published.

研究动机与目标

• 为解决单目 3D 目标检测（M3OD）中地面平面几何结构的低效利用问题，该结构提供强几何先验但常被忽略。
• 通过用显式、语义明确的地面接触点替代模糊的 3D 框底面顶点，解决投影点定位问题。
• 解决由动态道路和自车运动引起的地面平面倾斜问题，该问题会破坏固定地面平面假设。
• 仅使用 M3OD 标注实现精确 3D 目标定位，通过自动生成接触点和地平线线的伪标签，无需额外数据采集。
• 通过基于精确地面平面几何结构的动态反投影方法，提升深度估计和 3D 棱柱框准确率。

提出的方法

• 该方法引入地面接触点作为显式的 2D 监督信号，相比 3D 框底面顶点更具语义一致性且更易定位。
• 采用新型无监督垂直边缘挖掘算法估计图像中的地平线线，以增强在遮挡情况下的鲁棒性。
• 通过数学推导，从估计的地平线线和相机参数中获得地面平面方程，实现对地面平面倾斜的动态建模。
• 设计动态反投影算法，利用估计的地面平面和接触点重建 3D 目标位置，提升空间定位精度。
• 从 M3OD 标注中自动生成接触点和地平线线的伪标签，无需额外标注。
• 将上述组件整合为统一网络 GPENet，采用标准 M3OD 监督信号进行端到端训练。

实验结果

研究问题

• RQ1 如何将地面接触点用作比 3D 框底面顶点更可靠且语义更明确的参考点，以实现 3D 目标定位？
• RQ2 地平线线估计在多大程度上能改善动态自动驾驶场景中地面平面倾斜的建模？
• RQ3 能否在不增加额外标注的前提下，利用精确的地面平面几何结构提升单目检测中的 3D 棱柱框回归和深度估计？
• RQ4 所提方法在跨数据集场景下的泛化能力如何，尤其是在 KITTI 上训练并在 nuScenes 上测试时？
• RQ5 无监督垂直边缘挖掘对地平线线检测在遮挡情况下的鲁棒性有何影响？

主要发现

• GPENet 在 KITTI 基准上实现最先进性能，Car 类别的 moderate 水平 AP40 达到 17.35%，显著优于先前方法。
• 在 nuScenes 数据集上，GPENet 将 [0,20) 距离范围内的深度预测平均误差降低至 0.72m，优于所有基线方法。
• 使用地面接触点作为投影点使 moderate Car 类别的 AP40 提升 8.65 个百分点（从 8.70% 提升至 17.35%）。
• 无监督垂直边缘挖掘方法即使在地平线被障碍物严重遮挡时，也能实现鲁棒的地平线线检测。
• 结合精确接触点和地面平面估计的动态反投影方法，可生成更精确的 3D 棱柱框，尤其对远距离目标效果显著。
• 跨数据集评估验证了 GPENet 的强泛化能力，在 KITTI 和 nuScenes 验证集上均保持一致的性能提升。