[论文解读] Geometry Uncertainty Projection Network for Monocular 3D Object Detection

Yan Lu, Xinzhu Ma+6 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Neural Network Applications参考文献 56被引用 15

一句话总结

本文提出几何不确定性投影网络（GUP Net），通过使用不确定性感知的几何先验将深度预测建模为分布，解决了单目3D目标检测中的误差放大问题。该方法引入了用于可靠置信度估计的几何不确定性投影（GUP）模块，以及一种分层任务学习（HTL）策略以稳定训练，在KITTI数据集上，汽车和行人类别分别实现3.74%和4.7%的AP40提升，优于当前最先进方法。

ABSTRACT

Geometry Projection is a powerful depth estimation method in monocular 3D object detection. It estimates depth dependent on heights, which introduces mathematical priors into the deep model. But projection process also introduces the error amplification problem, in which the error of the estimated height will be amplified and reflected greatly at the output depth. This property leads to uncontrollable depth inferences and also damages the training efficiency. In this paper, we propose a Geometry Uncertainty Projection Network (GUP Net) to tackle the error amplification problem at both inference and training stages. Specifically, a GUP module is proposed to obtains the geometry-guided uncertainty of the inferred depth, which not only provides high reliable confidence for each depth but also benefits depth learning. Furthermore, at the training stage, we propose a Hierarchical Task Learning strategy to reduce the instability caused by error amplification. This learning algorithm monitors the learning situation of each task by a proposed indicator and adaptively assigns the proper loss weights for different tasks according to their pre-tasks situation. Based on that, each task starts learning only when its pre-tasks are learned well, which can significantly improve the stability and efficiency of the training process. Extensive experiments demonstrate the effectiveness of the proposed method. The overall model can infer more reliable object depth than existing methods and outperforms the state-of-the-art image-based monocular 3D detectors by 3.74% and 4.7% AP40 of the car and pedestrian categories on the KITTI benchmark.

研究动机与目标

• 为解决基于几何的单目3D目标检测中的误差放大问题，即3D高度估计的微小误差会导致深度估计误差显著放大。
• 通过将深度建模为具有不确定性的分布，实现对深度预测的可靠置信度评分，提升推理可靠性。
• 为几何引导模型中的训练提供稳定性，解决任务依赖关系和误差传播导致的训练不稳定性。
• 开发一种训练策略，确保前置任务在后续任务优化前已充分学习，从而提升收敛性与性能。

提出的方法

• 几何不确定性投影（GUP）模块将深度预测建模为基于估计的3D高度分布的概率分布，实现不确定性感知的深度输出。
• GUP模块在概率框架中应用不确定性理论，将高度估计的不确定性映射到深度预测的不确定性，提升预测可靠性。
• 提出一种分层任务学习（HTL）策略，通过学习状态指示器监控任务学习进度，并根据前置任务的收敛情况动态调整损失权重。
• HTL策略确保每个任务仅在前置任务达到足够进展后才开始训练，从而减少由误差放大引起的不稳定性。
• 通过将数学先验（透视投影）与深度学习结合，将深度建模为分布而非点估计，实现端到端的不确定性建模。
• 训练过程采用自适应损失加权机制，仅在早期依赖任务收敛后才激活后续阶段任务，从而提升训练稳定性和最终性能。

实验结果

研究问题

• RQ1 将深度预测建模为具有不确定性的分布，能否提升单目3D目标检测中的推理可靠性？
• RQ2 在基于几何的深度投影中，如何缓解由3D高度估计误差引发的误差放大问题？
• RQ3 在具有强任务依赖关系的多任务3D检测网络中，分层训练策略能否提升训练稳定性和性能？
• RQ4 在投影阶段引入不确定性建模，是否相比直接学习不确定性，能获得更准确的置信度评分？
• RQ5 与现有损失加权方法相比，所提出的HTL策略在收敛性和最终性能方面表现如何？

主要发现

• 所提出的GUP Net在KITTI基准测试中，汽车类别AP40相比最先进方法提升3.74%。
• 在行人类别上，模型相比现有基于图像的单目3D检测器，AP40提升4.7%。
• GUP模块显著减少了不可靠的置信度预测，模型能对遮挡或远距离物体分配高不确定性，而基线投影模型则无法做到这一点。
• 分层任务学习（HTL）策略在易样本检测指标上使性能提升约2%，证明其在稳定训练方面的有效性。
• 消融实验证明，若仅添加GeP（几何投影）组件而未引入不确定性建模，直接学习不确定性会导致性能下降，证实了GUP模块的必要性。
• HTL策略优于标准损失加权方法（如GradNorm和Task Uncertainty），尤其得益于模型中固有的层级结构与误差放大效应。