[论文解读] MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation

Hansheng Chen, Yuyao Huang+3 more|arXiv (Cornell University)|Mar 23, 2021

Advanced Neural Network Applications参考文献 38被引用 9

一句话总结

MonoRUn 提出了一种自监督的单目 3D 目标检测框架，通过简单的 3D 边界框标注学习密集的 2D-3D 对应关系与几何结构，利用不确定性感知的重建方法和一种新颖的鲁棒 KL 损失以提升回归性能。它通过将不确定性传播至 PnP 以估计姿态协方差，实现了无需真实 3D 模型或关键点标注的置信度评分与鲁棒定位，在 KITTI 基准上取得了最先进性能。

ABSTRACT

Object localization in 3D space is a challenging aspect in monocular 3D object detection. Recent advances in 6DoF pose estimation have shown that predicting dense 2D-3D correspondence maps between image and object 3D model and then estimating object pose via Perspective-n-Point (PnP) algorithm can achieve remarkable localization accuracy. Yet these methods rely on training with ground truth of object geometry, which is difficult to acquire in real outdoor scenes. To address this issue, we propose MonoRUn, a novel detection framework that learns dense correspondences and geometry in a self-supervised manner, with simple 3D bounding box annotations. To regress the pixel-related 3D object coordinates, we employ a regional reconstruction network with uncertainty awareness. For self-supervised training, the predicted 3D coordinates are projected back to the image plane. A Robust KL loss is proposed to minimize the uncertainty-weighted reprojection error. During testing phase, we exploit the network uncertainty by propagating it through all downstream modules. More specifically, the uncertainty-driven PnP algorithm is leveraged to estimate object pose and its covariance. Extensive experiments demonstrate that our proposed approach outperforms current state-of-the-art methods on KITTI benchmark.

研究动机与目标

• 解决在真实驾驶场景中进行 3D 目标检测的挑战，其中获取精确的 3D 模型或关键点标注不切实际。
• 消除在单目 3D 检测中对真实 3D 几何结构、分割掩码或关键点监督的依赖。
• 通过自监督重建提升 3D 坐标预测的回归精度与不确定性校准能力。
• 通过将预测不确定性传播至 PnP 流程以估计姿态协方差，实现概率性 3D 定位。

提出的方法

• 一个区域重建网络在每个 2D 目标提议内回归密集的 3D 目标坐标，从而在物体空间中形成局部点云。
• 通过使用真实姿态和相机内参将预测的 3D 坐标投影回图像平面，实现自监督，最小化重投影误差。
• 鲁棒 KL 损失通过最小化预测高斯分布与真实 Dirac delta 之间的 KL 散度来优化，采用不确定性感知加权以提升回归稳定性。
• 估计 3D 坐标预测的主性不确定性，并用于引导不确定性驱动的 PnP 算法，聚焦于低不确定性前景区域。
• 将不确定性传播至 PnP 模块以计算姿态协方差矩阵，该矩阵用于检测置信度评分。
• 引入潜在向量以增强不确定性估计，消融实验表明其在建模主性不确定性方面具有关键作用。

实验结果

研究问题

• RQ1 是否可以在不依赖 3D 模型或关键点标注的前提下，在真实世界的单目 3D 检测中学习密集的 2D-3D 对应关系？
• RQ2 如何有效建模并利用 3D 坐标预测中的不确定性以提升基于 PnP 的姿态估计性能？
• RQ3 一种新颖的不确定性感知损失函数（如鲁棒 KL 损失）是否能带来优于标准损失函数的回归性能？
• RQ4 通过 PnP 传播不确定性是否能生成可靠的姿态协方差估计，从而提升检测置信度？

主要发现

• MonoRUn 在 KITTI 基准上实现了 31.21 mAP，优于当前最先进方法。
• 与拉普拉斯 KL 损失相比，鲁棒 KL 损失将 mAP 提升了 1.74 个百分点，证明了不确定性感知回归的重要性。
• 使用可微分 PnP 进行端到端微调时，若以鲁棒 KL 损失初始化，性能略有下降，表明自监督优化已具备更优性能。
• 禁用潜在向量会使 mAP 下降 1.98 个百分点，表明其在建模主性不确定性方面具有关键作用。
• 预测的不确定性与训练集上的实际定位误差高度吻合，验证了协方差校准的有效性。
• 在验证集上，模型表现出过度自信，但通过经验协方差缩放可进一步提升性能，表明仍有改进空间用于认知不确定性校准。