[论文解读] MoGDE: Boosting Mobile Monocular 3D Object Detection with Ground Depth Estimation

Yunsong Zhou, Quan Liu+4 more|arXiv (Cornell University)|Mar 23, 2023

Advanced Neural Network Applications被引用 4

一句话总结

MoGDE 提出了一种新颖的单目 3D 目标检测框架，通过利用相机位姿和透视几何关系估计地面深度，再通过基于 Transformer 的 RGB-D 特征融合网络融合该深度信息，从而在移动设备上显著提升检测精度与鲁棒性。该方法在 KITTI 3D 基准测试中取得最先进性能，排名第一，尤其在远距离目标检测方面提升显著。

ABSTRACT

Monocular 3D object detection (Mono3D) in mobile settings (e.g., on a vehicle, a drone, or a robot) is an important yet challenging task. Due to the near-far disparity phenomenon of monocular vision and the ever-changing camera pose, it is hard to acquire high detection accuracy, especially for far objects. Inspired by the insight that the depth of an object can be well determined according to the depth of the ground where it stands, in this paper, we propose a novel Mono3D framework, called MoGDE, which constantly estimates the corresponding ground depth of an image and then utilizes the estimated ground depth information to guide Mono3D. To this end, we utilize a pose detection network to estimate the pose of the camera and then construct a feature map portraying pixel-level ground depth according to the 3D-to-2D perspective geometry. Moreover, to improve Mono3D with the estimated ground depth, we design an RGB-D feature fusion network based on the transformer structure, where the long-range self-attention mechanism is utilized to effectively identify ground-contacting points and pin the corresponding ground depth to the image feature map. We conduct extensive experiments on the real-world KITTI dataset. The results demonstrate that MoGDE can effectively improve the Mono3D accuracy and robustness for both near and far objects. MoGDE yields the best performance compared with the state-of-the-art methods by a large margin and is ranked number one on the KITTI 3D benchmark.

研究动机与目标

• 为解决单目视觉中因近远差异导致的远距离目标检测精度低下的问题。
• 提升移动应用（如自动驾驶汽车和无人机）中相机位姿动态变化下 Mono3D 检测器的鲁棒性。
• 利用地面深度作为先验知识，通过相机位姿和透视几何关系估计像素级深度，以指导 3D 目标检测。
• 设计一种灵活的即插即用模块，为现有仅基于图像的 Mono3D 检测器提供地面深度引导。
• 在 KITTI 3D 基准测试中实现最先进性能，尤其在困难样本和远距离目标检测方面表现突出。

提出的方法

• 通过检测消失点和地平线线，利用图像特征估计相机俯仰角和横滚角，推断视角方向。
• 基于从 3D 到 2D 的透视投影，构建像素级的地面深度特征图，假设虚拟场景中仅包含天空和地面。
• 采用面向地面的基于 Transformer 的特征融合网络，利用长距离自注意力机制识别与地面接触的点，并将深度特征与图像特征对齐。
• RGB-D 特征融合模块将估计的地面深度与图像特征融合，以提升 3D 边界框预测的准确性。
• 该方法设计为即插即用模块，可无缝集成至现有仅基于图像的 Mono3D 检测器中，无需改变网络架构。
• 在消融实验中模拟相机位姿变化，评估模型鲁棒性，并在不同位姿条件下测量性能下降程度。

实验结果

研究问题

• RQ1 地面深度估计能否显著提升单目 3D 目标检测的精度，特别是对远距离目标？
• RQ2 通过基于 Transformer 的融合机制将估计的地面深度与图像特征结合，其有效性如何？
• RQ3 MoGDE 在移动场景中相机位姿动态变化下，其鲁棒性提升程度如何？
• RQ4 所提出的地面深度估计与融合模块能否有效集成至现有仅基于图像的 Mono3D 检测器中以提升性能？
• RQ5 在真实移动环境中，利用透视几何与位姿估计是否能生成更可靠的深度先验？

主要发现

• MoGDE 在 KITTI 3D 基准测试中表现最佳，所有最先进方法中排名第一。
• 当应用于 M3D-RPN 时，MoGDE 在易、中、难三个类别上分别将 AP3D 提升 +5.32、+5.77 和 +5.97 个百分点。
• 当扩展至 Kinematic3D 时，MoGDE 将 AP3D 提升 +1.83（易）、+2.44（中）和 +2.30（难），同时将 APBEV 提升 +1.97、+3.08 和 +2.86。
• 在大范围相机位姿变化下，模型性能下降极小，表现出强鲁棒性，优于基线检测器。
• 可视化结果表明，Transformer 注意力机制能有效聚焦于与地面接触的点，成功将深度线索与目标特征关联。
• 即插即用设计使 MoGDE 在多个现有 Mono3D 检测器上均实现一致的性能提升，验证了方法的灵活性与泛化能力。