[论文解读] Monocular 3D Object Detection: An Extrinsic Parameter Free Approach

Yunsong Zhou, Yuan He+4 more|arXiv (Cornell University)|Jun 30, 2021

Advanced Neural Network Applications参考文献 60被引用 4

一句话总结

该论文提出MonoEF，一种单目3D目标检测框架，通过从单张图像中估计相机位姿（基于消失点与地平线检测）来消除对相机外参扰动的敏感性。通过使用由估计外参引导的可学习特征变换网络，该方法在KITTI 3D和nuScenes数据集上实现了最先进性能，显著提升了在不平整路面上的检测精度，而现有方法因位姿引起的畸变而失效。

ABSTRACT

Monocular 3D object detection is an important task in autonomous driving. It can be easily intractable where there exists ego-car pose change w.r.t. ground plane. This is common due to the slight fluctuation of road smoothness and slope. Due to the lack of insight in industrial application, existing methods on open datasets neglect the camera pose information, which inevitably results in the detector being susceptible to camera extrinsic parameters. The perturbation of objects is very popular in most autonomous driving cases for industrial products. To this end, we propose a novel method to capture camera pose to formulate the detector free from extrinsic perturbation. Specifically, the proposed framework predicts camera extrinsic parameters by detecting vanishing point and horizon change. A converter is designed to rectify perturbative features in the latent space. By doing so, our 3D detector works independent of the extrinsic parameter variations and produces accurate results in realistic cases, e.g., potholed and uneven roads, where almost all existing monocular detectors fail to handle. Experiments demonstrate our method yields the best performance compared with the other state-of-the-arts by a large margin on both KITTI 3D and nuScenes datasets.

研究动机与目标

• 解决真实自动驾驶场景中相机外参波动的关键挑战，特别是在不平整或有坑洼的道路上。
• 克服现有单目3D检测器假设相机位姿固定、在动态道路引起的位姿变化下失效的局限性。
• 开发一种方法，使3D检测对相机外参变化具有鲁棒性，且无需依赖LiDAR、雷达或多相机系统。
• 将相机位姿估计直接集成到检测流程中，隐式校正由道路引起的相机俯仰与旋转导致的特征畸变。
• 在标准基准上实现最先进性能的同时，保持实时推理效率。

提出的方法

• 通过从单张单目图像中检测消失点与地平线线，估计相机外参参数（相对于地面平面的俯仰与旋转）。
• 在KITTI里程计序列上使用监督学习训练专用的外参回归网络，以从图像特征中预测相机位姿。
• 设计一个特征变换网络，利用预测的外参作为种子，在特征空间中校正潜在特征。
• 在推理阶段应用该变换网络，以校正特征图中的扰动，再进行3D框预测。
• 将外参感知模块无缝集成到基础检测器（如SMOKE）中，无需修改其主干网络，实现即插即用的性能增强。
• 利用估计的相机几何结构，将校正后的3D预测结果投影回真实世界坐标系。

实验结果

研究问题

• RQ1 能否使单目3D检测对由道路不规则引起的相机外参变化具有鲁棒性？
• RQ2 仅从单张图像中检测消失点与地平线，能在多大程度上提升在位姿扰动下的3D检测精度？
• RQ3 将估计的相机位姿引入特征空间，是否能提升在真实世界不平整道路条件下的泛化能力？
• RQ4 学习的特征变换网络是否能有效校正外参引起的畸变，而无需在训练过程中使用真实外参数据？
• RQ5 在存在与不存在位姿变化的基准上，该方法与最先进单目检测器相比，在精度与鲁棒性方面表现如何？

主要发现

• MonoEF在KITTI 3D基准上达到41.78%的AP3D，显著优于基线SMOKE（34.98%）以及SOTA方法如M3D-RPN（+E.F.: 41.36%）和Kinematic3D（+E.F.: 48.92%）。
• 在KITTI里程计序列08上，模型的相机位姿估计精度与SOTA视觉里程计方法相当，俯仰角误差为0.87°，翻滚角误差为0.92°。
• 特征校正模块在nuScenes上大幅降低了ATE（平均平移误差）与ASE（平均尺度误差），证明了3D定位精度的提升。
• 消融实验证实，外参校正带来了显著的性能增益，尤其在单序列训练中初始位姿不一致程度较高时更为明显。
• MonoEF保持了较低的推理时间，优于需要额外操作（如伪LiDAR生成或成对优化）的方法。
• 当应用于其他SOTA检测器（如M3D-RPN、Kinematic3D）时，外参校正模块始终能提升性能，证明了其良好的泛化能力。