[論文レビュー] CubeSLAM: Monocular 3D Object Detection and SLAM without Prior Models

Shichao Yang, Sebastian Scherer|arXiv (Cornell University)|Jun 1, 2018

Robotics and Sensor-Based Localization参考文献 29被引用数 15

ひとこと要約

CubeSLAMは、事前オブジェクトモデルを必要とせずに、カメラの自己位置推定、3次元直方体オブジェクト、3次元点を同時に最適化する単眼3次元オブジェクト検出およびSLAMシステムを提案する。2次元バウンディングボックスと消失点を用いて直方体候補を生成・精緻化し、新規の測定関数を導入したマルチビューのバンドル調整を適用することで、SUN RGB-D、KITTI、TUMデータセットにおいて3次元検出と自己位置推定の両方の精度を向上させる。

ABSTRACT

We present a method for single image 3D cuboid object detection and multi-view object SLAM without prior object model, and demonstrate that the two aspects can benefit each other. For 3D detection, we generate high quality cuboid proposals from 2D bounding boxes and vanishing points sampling. The proposals are further scored and selected to align with image edges. Experiments on SUN RGBD and KITTI shows the efficiency and accuracy over existing approaches. Then in the second part, multi-view bundle adjustment with novel measurement functions is proposed to jointly optimize camera poses, objects and points, utilizing single view detection results. Objects can provide more geometric constraints and scale consistency compared to points. On the collected and public TUM and KITTI odometry datasets, we achieve better pose estimation accuracy over the state-of-the-art monocular SLAM while also improve the 3D object detection accuracy at the same time.

研究の動機と目的

• 事前オブジェクトモデルに依存しない単眼3次元オブジェクト検出およびSLAMシステムの開発を目的とする。
• マルチビューSLAMからの幾何的制約を活用することで、3次元オブジェクト検出の精度を向上させることを目的とする。
• 3次元直方体オブジェクトを幾何的制約として組み込むことで、単眼SLAMにおける自己位置推定の精度を向上させることを目的とする。
• オブジェクトレベルの幾何的事前知識を用いて、単眼SLAMにおけるスケールの一貫性を確保することを目的とする。
• 3次元検出とSLAMの相互改善を、共同最適化によって実現することを目的とする。

提案手法

• 2次元バウンディングボックスと消失点のサンプリングから高品質な直方体候補を生成する。
• 画像エッジとの整合性を高めることで、候補のスコアリングと精緻化を行い、検出品質を向上させる。
• マルチビューのバンドル調整に新規の測定関数を導入し、カメラの自己位置推定、3次元オブジェクト、3次元点を同時に最適化する。
• 3次元直方体を幾何的制約として活用し、単眼SLAMにおけるスケールの一貫性を向上させるとともに、ドリフトを低減する。
• 単一ビューの3次元検出結果をマルチビュー最適化の入力として活用する。
• 複数のビューにわたる共同最適化を適用し、検出と自己位置推定の両方の性能を同時に向上させる。

実験結果

リサーチクエスチョン

• RQ1 2次元検出と消失点から生成された3次元直方体候補は、単眼3次元オブジェクト検出の精度を向上させることができるか？
• RQ2 3次元直方体オブジェクトは、単眼SLAMにおける幾何的制約とスケールの一貫性をどのように向上させるか？
• RQ3 カメラの自己位置推定、3次元オブジェクト、3次元点の共同最適化は、検出と自己位置推定の両方の性能を向上させることができるか？
• RQ4 事前オブジェクトモデルの欠如が性能に制限を及えるか、それでも最先端の結果を達成できるか？
• RQ5 標準ベンチマークにおいて、本手法は既存の単眼SLAMおよび3次元検出手法と比較してどのように評価されるか？

主な発見

• 本手法は、SUN RGB-DおよびKITTIデータセットにおいて、既存手法と比較してより高い3次元検出精度を達成した。
• TUMおよびKITTIオドメトリーデータセットにおける自己位置推定精度は、最先端の単眼SLAM手法を上回った。
• 3次元直方体の統合により、単眼SLAMにおけるスケールの一貫性が向上し、ドリフトが低減した。
• オブジェクト、点、カメラの自己位置推定の共同最適化により、検出と局所化の両方の性能が相互に向上した。
• 本システムは事前オブジェクトモデルを必要とせず、多様なデータセットにおいても高い頑健性と一般化性能を示した。
• バンドル調整における提案された測定関数は、幾何的整合性と精度を顕著に向上させた。