[论文解读] MonoPair: Monocular 3D Object Detection Using Pairwise Spatial Relationships

Yongjian Chen, Lei Tai+2 more|arXiv (Cornell University)|Mar 1, 2020

Advanced Neural Network Applications参考文献 41被引用 24

一句话总结

MonoPair 提出了一种单目 3D 目标检测方法，通过使用不确定性感知预测和非线性最小二乘优化，建模附近目标之间的成对空间关系，从而提升被遮挡目标的检测精度。该方法在 KITTI 3D 基准测试中实现了最先进性能，尤其在困难、严重遮挡样本上表现优异，通过联合优化目标位置与几何约束，并采用学习到的不确定性加权策略实现性能突破。

ABSTRACT

Monocular 3D object detection is an essential component in autonomous driving while challenging to solve, especially for those occluded samples which are only partially visible. Most detectors consider each 3D object as an independent training target, inevitably resulting in a lack of useful information for occluded samples. To this end, we propose a novel method to improve the monocular 3D object detection by considering the relationship of paired samples. This allows us to encode spatial constraints for partially-occluded objects from their adjacent neighbors. Specifically, the proposed detector computes uncertainty-aware predictions for object locations and 3D distances for the adjacent object pairs, which are subsequently jointly optimized by nonlinear least squares. Finally, the one-stage uncertainty-aware prediction structure and the post-optimization module are dedicatedly integrated for ensuring the run-time efficiency. Experiments demonstrate that our method yields the best performance on KITTI 3D detection benchmark, by outperforming state-of-the-art competitors by wide margins, especially for the hard samples.

研究动机与目标

• 为解决在单目图像中检测严重遮挡 3D 目标所面临的挑战，因为单个目标检测因可见信息有限而失效。
• 通过利用邻近目标之间的几何关系来提升检测精度，灵感来源于人类视觉直觉。
• 将不确定性估计整合到 3D 目标检测中，以增强鲁棒性并指导优化过程。
• 开发一种高效的一阶段、无锚点检测器，结合后处理优化，保持实时推理速度。
• 在 KITTI 3D 检测基准上超越现有最先进方法，尤其在困难、遮挡样本上表现更优。

提出的方法

• 该方法将 3D 目标检测建模为一个联合优化问题，利用相邻目标对之间的成对空间约束。
• 引入一种不确定性感知的预测头，用于无监督学习方式估计深度（σᶻ）和投影 2D 偏移量（σᵘᵛ）的偶然不确定性。
• 空间约束以两对目标之间的几何中心为关键点进行建模，编码相对 3D 位置与距离信息。
• 通过非线性最小二乘法对预测的目标位置和成对约束进行优化，不确定性值用作代价函数中的自适应权重。
• 将一阶段、无锚点检测器与轻量级后处理优化模块结合，确保实时推理（在 GTX 1080 Ti 上每张图像 57 ms）。
• 基于空间接近度和 IoU 进行配对匹配，仅使用高质量配对子集以平衡优化复杂度与性能。

实验结果

研究问题

• RQ1 在单目 3D 目标检测中，建模附近 3D 目标之间的成对空间关系是否能提升检测性能，尤其是在遮挡样本上？
• RQ2 在 3D 目标检测预测中引入偶然不确定性，如何增强鲁棒性与优化精度？
• RQ3 使用不确定性加权的非线性最小二乘法对目标位置与空间约束进行优化，是否能带来优于基线方法的检测性能？
• RQ4 一阶段、无锚点检测器结合后处理优化，能否在保持实时推理速度的同时实现最先进性能？
• RQ5 在不降低性能或增加计算成本的前提下，优化中应包含多少对空间约束才是最优的？

主要发现

• MonoPair 在 KITTI 3D 检测基准上达到最高性能，在 Moderate 数据集上实现 46.90% 的 AP₃D，优于 M3D-RPN 及其他 SOTA 方法。
• 对于困难样本（IoU ≥ 0.7），MonoPair 实现 17.39% 的 AP₃D，显著优于基线（7.81%）及其他竞争方法。
• 消融实验证明，同时结合深度不确定性（σᶻ）与偏移不确定性（σᵘᵛ）可获得最佳性能，相比基线提升 1.5% 的 AP₃D。
• 每张图像中成对约束的最优数量为 5–8 对，该组别实现最高平均精度提升（17.39% AP₃D），优于更少或更多的配对数量。
• 在优化代价函数中使用学习到的不确定性作为权重，优于固定权重策略（如单位矩阵或基于相机距离的加权），证明其有效性。
• 该方法在 GTX 1080 Ti 上推理速度为每张图像 57 ms，适合实时部署，且速度超过基于区域建议的方法两倍以上。