[论文解读] Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection

Yinmin Zhang, Xinzhu Ma+5 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Neural Network Applications参考文献 43被引用 13

一句话总结

该论文提出了一种基于几何引导的单目3D目标检测深度估计方法，通过建模2D/3D预测（边界框尺寸、3D尺寸、目标姿态）与深度之间的透视投影关系。该方法引入了一个可微分的几何公式，并作为神经模块嵌入网络，实现几何感知的表征学习，在KITTI数据集的中等难度汽车检测设置下，无需额外数据，相比SOTA方法实现了2.80%的绝对AP40提升。

ABSTRACT

As a crucial task of autonomous driving, 3D object detection has made great progress in recent years. However, monocular 3D object detection remains a challenging problem due to the unsatisfactory performance in depth estimation. Most existing monocular methods typically directly regress the scene depth while ignoring important relationships between the depth and various geometric elements (e.g. bounding box sizes, 3D object dimensions, and object poses). In this paper, we propose to learn geometry-guided depth estimation with projective modeling to advance monocular 3D object detection. Specifically, a principled geometry formula with projective modeling of 2D and 3D depth predictions in the monocular 3D object detection network is devised. We further implement and embed the proposed formula to enable geometry-aware deep representation learning, allowing effective 2D and 3D interactions for boosting the depth estimation. Moreover, we provide a strong baseline through addressing substantial misalignment between 2D annotation and projected boxes to ensure robust learning with the proposed geometric formula. Experiments on the KITTI dataset show that our method remarkably improves the detection performance of the state-of-the-art monocular-based method without extra data by 2.80% on the moderate test setting. The model and code will be released at https://github.com/YinminZhang/MonoGeo.

研究动机与目标

• 解决单目3D目标检测中深度估计不准确这一关键瓶颈问题。
• 利用透视投影建模场景深度与多个2D/3D网络预测（如边界框尺寸、3D尺寸、姿态）之间的几何关系。
• 开发一个可微分、端到端可训练的模块，将几何约束整合到深度表征学习中，以提升深度估计性能。
• 缓解2D标注与从3D标注投影得到的2D边界框之间的错位问题，确保训练过程的鲁棒性。
• 建立一个强大的单目3D目标检测基线模型，在KITTI数据集上优于现有方法。

提出的方法

• 提出一个基于投影几何的原理性几何公式，用于建模3D场景深度与2D/3D预测（如2D边界框高度、3D尺寸、目标姿态）之间的透视投影关系。
• 设计一个可微分的神经网络模块，将几何公式嵌入特征学习过程，实现深度与几何约束的联合优化。
• 将几何模块集成到检测头中，在训练和推理阶段均通过几何感知的特征表示引导深度预测。
• 提出一种数据预处理策略，校正2D真实标注与从3D标注投影得到的2D边界框之间的错位问题，提升监督信号质量。
• 为消融实验设计几何公式的简化版本（Geo-SV1/SV2），以验证各几何元素的贡献。
• 在KITTI数据集上采用标准指标（AP40、SILog、sqRel）进行评估，与强基线及SOTA方法进行对比。

实验结果

研究问题

• RQ1 通过透视投影建模全部几何关系（2D/3D尺寸、姿态、深度）是否能显著提升单目深度估计性能？
• RQ2 将可微分几何公式集成到神经网络架构中，是否能带来比直接回归或部分几何建模更优的3D检测性能？
• RQ3 所提方法在减少深度估计误差方面有多高效，特别是在最常见深度范围（如40米以内）？
• RQ4 校正2D标注与投影2D边界框之间的错位问题，在多大程度上提升了学习过程的鲁棒性与准确性？
• RQ5 所提方法是否能在不依赖额外数据或复杂后处理的情况下实现SOTA性能？

主要发现

• 在KITTI测试集上，该方法在中等难度汽车类别下实现了13.81%的AP40，相比之前SOTA方法绝对提升了2.80%。
• 包含所有几何元素（3D尺寸、2D边界框大小、姿态）的完整模型优于排除任意单一组件的变体，证实了建模多种几何关系的重要性。
• 该方法在所有深度范围内均显著提升了深度估计性能，尤其在87%的车辆位于其中的40米以内范围，SILog和sqRel误差更低。
• 消融研究证实，若不使用几何建模而直接使用3D预测（Baseline + 3D-CAT），性能会下降，证明了所提公式的有效性。
• 仅通过错位校正的基线模型在KITTI验证集上达到13.37%的AP40，展现出强大性能，可作为未来工作的参考基准。
• 几何引导的表征学习在深度估计与3D检测中均带来一致性能提升，验证了几何约束在端到端学习中的有效性。