[论文解读] MoNet3D: Towards Accurate Monocular 3D Object Localization in Real Time

Xichuan Zhou, YiChong Peng+3 more|arXiv (Cornell University)|Jun 29, 2020

Advanced Neural Network Applications被引用 6

一句话总结

MoNet3D 提出了一种端到端的深度学习框架，通过利用相邻物体之间的局部几何一致性，实现实时单目3D目标定位。通过引入基于3D空间邻近性的正则化项，其在KITTI数据集上实现了96.25%的深度预测准确率和94.74%的水平坐标准确率，推理速度达27.85 FPS，可实现嵌入式ADAS系统中的实际部署。

ABSTRACT

Monocular multi-object detection and localization in 3D space has been proven to be a challenging task. The MoNet3D algorithm is a novel and effective framework that can predict the 3D position of each object in a monocular image and draw a 3D bounding box for each object. The MoNet3D method incorporates prior knowledge of the spatial geometric correlation of neighbouring objects into the deep neural network training process to improve the accuracy of 3D object localization. Experiments on the KITTI dataset show that the accuracy for predicting the depth and horizontal coordinates of objects in 3D space can reach 96.25\% and 94.74\%, respectively. Moreover, the method can realize the real-time image processing at 27.85 FPS, showing promising potential for embedded advanced driving-assistance system applications. Our code is publicly available at https://github.com/CQUlearningsystemgroup/YicongPeng.

研究动机与目标

• 解决从单目RGB图像中实现精确3D目标定位的挑战，此类图像缺乏固有的深度线索。
• 克服现有单目方法依赖全局几何一致性假设的局限性，此类假设对图像失真和遮挡敏感。
• 通过整合相邻物体之间的局部空间关系作为归纳偏置，提升3D定位精度和训练收敛性。
• 实现适合嵌入式高级驾驶辅助系统（ADAS）的实时性能，且计算开销低。
• 通过用单目摄像头替代昂贵的LiDAR传感器，实现自动驾驶车辆中成本更低的3D感知。

提出的方法

• 设计一个三阶段端到端深度神经网络：特征提取、2D目标检测和3D定位。
• 提出一种基于局部几何一致性的新型正则化项——深度相近的相邻物体在3D空间中应保持空间邻近性。
• 将局部一致性约束形式化为可微的损失组件，以在训练过程中指导3D边界框的预测。
• 利用主干网络的多尺度特征，提升不同物体尺度下的检测与定位精度。
• 通过结合检测损失和所提出的几何正则化项来优化总损失函数，以提升泛化能力。
• 通过采用轻量化架构和高效的特征处理，确保高推理效率，实现实时运行。

实验结果

研究问题

• RQ1 相邻3D物体之间的局部几何一致性是否能提升单目3D定位的准确性？
• RQ2 引入局部空间先验对3D目标检测网络的收敛性和鲁棒性有何影响？
• RQ3 单目方法在保持实时推理速度的同时，能在多大程度上实现SOTA（最先进）的3D定位性能？
• RQ4 所提出的正则化方法是否可泛化至不同的网络架构和数据集？
• RQ5 在嵌入式平台上部署单目3D检测时，准确率与实时性能之间存在何种权衡？

主要发现

• MoNet3D在KITTI数据集上实现了96.25%的3D目标深度预测准确率，显著优于以往的单目方法。
• 该方法在水平坐标预测上达到94.74%的准确率，展现出优异的空间定位性能。
• 在IoU阈值为0.3时，MoNet3D在KITTI数据集上实现了72.56%的3D目标检测准确率，达到当前最先进水平。
• 该模型在标准计算机上运行速度达27.85 FPS，表明其具备强大的实时性能，适合嵌入式系统应用。
• 在NVIDIA Jetson AGX Xavier嵌入式平台上，MoNet3D保持超过5 FPS的推理速度，功耗仅为26.13W，证明其在边缘设备部署的可行性。
• 所提出的局部一致性正则化方法在不牺牲推理速度的前提下，提升了训练收敛性和泛化能力。