[论文解读] CubeSLAM: Monocular 3D Object Detection and SLAM without Prior Models

Shichao Yang, Sebastian Scherer|arXiv (Cornell University)|Jun 1, 2018

Robotics and Sensor-Based Localization参考文献 29被引用 15

一句话总结

CubeSLAM 提出了一种单目 3D 目标检测与 SLAM 系统，通过联合优化相机位姿、3D 长方体对象和 3D 点，无需预先存在的对象模型。它利用 2D 框和消失点生成并优化长方体提议，然后在多视角捆绑调整中引入新型测量方法，从而在 SUN RGB-D、KITTI 和 TUM 数据集上同时提升 3D 检测和位姿估计的准确性。

ABSTRACT

We present a method for single image 3D cuboid object detection and multi-view object SLAM without prior object model, and demonstrate that the two aspects can benefit each other. For 3D detection, we generate high quality cuboid proposals from 2D bounding boxes and vanishing points sampling. The proposals are further scored and selected to align with image edges. Experiments on SUN RGBD and KITTI shows the efficiency and accuracy over existing approaches. Then in the second part, multi-view bundle adjustment with novel measurement functions is proposed to jointly optimize camera poses, objects and points, utilizing single view detection results. Objects can provide more geometric constraints and scale consistency compared to points. On the collected and public TUM and KITTI odometry datasets, we achieve better pose estimation accuracy over the state-of-the-art monocular SLAM while also improve the 3D object detection accuracy at the same time.

研究动机与目标

• 开发一种不依赖先验对象模型的单目 3D 目标检测与 SLAM 系统。
• 通过利用多视角 SLAM 的几何约束来提升 3D 目标检测的准确性。
• 通过引入 3D 长方体对象作为几何约束，提升单目 SLAM 中的位姿估计准确性。
• 通过对象级别的几何先验实现单目 SLAM 中的尺度一致性。
• 通过联合优化展示 3D 检测与 SLAM 之间的相互促进作用。

提出的方法

• 从 2D 框和消失点采样生成高质量的长方体提议。
• 通过将提议与图像边缘对齐来评分并优化，以提升检测质量。
• 在多视角捆绑调整中引入新型测量函数，以联合优化相机位姿、3D 对象和 3D 点。
• 利用 3D 长方体作为几何约束，提升单目 SLAM 中的尺度一致性和减少漂移。
• 将单视角 3D 检测结果作为多视角优化的输入。
• 在多个视角上应用联合优化，以同时提升检测和位姿估计性能。

实验结果

研究问题

• RQ1 从 2D 检测和消失点生成的 3D 长方体提议能否提升单目 3D 目标检测的准确性？
• RQ2 3D 长方体对象如何增强单目 SLAM 中的几何约束和尺度一致性？
• RQ3 相机位姿、3D 对象和 3D 点的联合优化能否同时提升检测和位姿估计性能？
• RQ4 缺乏先验对象模型是否会限制性能，该系统是否仍能达到最先进水平？
• RQ5 所提出方法在标准基准上与现有单目 SLAM 和 3D 检测方法相比表现如何？

主要发现

• 与现有方法相比，该方法在 SUN RGB-D 和 KITTI 数据集上实现了更高的 3D 检测准确性。
• 在 TUM 和 KITTI 里程计数据集上的位姿估计准确性超过了最先进单目 SLAM 方法。
• 3D 长方体的集成改善了单目 SLAM 中的尺度一致性并减少了漂移。
• 对象、点和相机位姿的联合优化带来了检测和定位性能的相互提升。
• 该系统在无先验对象模型的情况下仍能有效运行，展示了在多样化数据集上的鲁棒性和泛化能力。
• 捆绑调整中提出的测量函数显著提升了几何一致性与准确性。