[論文レビュー] VDO-SLAM: A Visual Dynamic Object-aware SLAM System

Jun Zhang, Mina Henein+2 more|arXiv (Cornell University)|May 22, 2020

Robotics and Sensor-Based Localization参考文献 57被引用数 110

ひとこと要約

VDO-SLAMは、SE(3)を利用した意味情報と物体運動モデリングを活用して、カメラの自己位置推定、動的剛体オブジェクトの追跡、時空間マップの構築を同時に行う、頑健な特徴ベースのSLAMシステムを提示します。物体の速度を抽出し、実世界データセットで最先端手法を上回る改善を示します。

ABSTRACT

Combining Simultaneous Localisation and Mapping (SLAM) estimation and dynamic scene modelling can highly benefit robot autonomy in dynamic environments. Robot path planning and obstacle avoidance tasks rely on accurate estimations of the motion of dynamic objects in the scene. This paper presents VDO-SLAM, a robust visual dynamic object-aware SLAM system that exploits semantic information to enable accurate motion estimation and tracking of dynamic rigid objects in the scene without any prior knowledge of the objects' shape or geometric models. The proposed approach identifies and tracks the dynamic objects and the static structure in the environment and integrates this information into a unified SLAM framework. This results in highly accurate estimates of the robot's trajectory and the full SE(3) motion of the objects as well as a spatiotemporal map of the environment. The system is able to extract linear velocity estimates from objects' SE(3) motion providing an important functionality for navigation in complex dynamic environments. We demonstrate the performance of the proposed system on a number of real indoor and outdoor datasets and the results show consistent and substantial improvements over the state-of-the-art algorithms. An open-source version of the source code is available.

研究の動機と目的

• 動的環境でSLAMの精度に影響を与える動的オブジェクトを含む状況において、頑健なナビゲーションとマッピングの実現を動機づける。
• 事前のオブジェクトモデルを必要とせず、カメラ姿勢、静的3D点、動的オブジェクト運動、オブジェクトレベルの速度をモデル化する統一推定フレームワークを開発する。
• 意味情報と密な特徴表現を活用して、遮蔽下でのデータアソシエーションと追跡を改善する。
• 実世界の室内外データセットで完全な動的SLAM性能を示し、オープンソースコードを提供する。

提案手法

• 動的SLAMをSE(3)でのカメラ姿勢、静的3D点、オブジェクト運動の共同推定問題として定式化する。
• モデルフリーのSE(3)姿勢変化を用いて、フレーム間で点トラックを関連付ける剛体オブジェクト運動を表現する。
• Lie代数表現を用いて画像平面上の3D-2D再投影誤差を最小化してカメラ姿勢とオブジェクト運動を推定する。
• 遮蔽下での追跡を頑健にするために、光学フロー、カメラ姿勢、オブジェクト運動を同時に refined して点を頑健に追跡する。
• 3D点測定値、オドメトリ、オブジェクト運動因子、滑らかな運動事前分布を組み込んだファクタグラフ最適化（バッチまたは逐次）を構築する。
• 静的構造と動的オブジェクト軌跡を含むグローバルマップを維持し、オブジェクトの速度抽出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたオブジェクトモデルに依存せず、統一SLAMフレームワーク内で動的シーンをモデル化するにはどうすればよいか。
• RQ2 モデルフリー表現を用いて、動く剛体上の点トラックからSE(3)オブジェクト運動を頑健に推定できるか。
• RQ3 意味インスタンスセグメンテーションと密な特徴追跡を統合することで、動的SLAMにおけるデータアソシエーションと安定性は改善されるか。
• RQ4 カメラ姿勢、静的点、動的オブジェクト運動を同時に最適化することは、実世界データセットで従来の静的SLAMや2段階のMOTアプローチと比較してどうか。

主な発見

• 動的オブジェクトのSE(3)モーション推定を高精度に行い、場面の動きからオブジェクト速度を回収する。
• 意味情報を活用した頑健なオブジェクト追跡手法は、セグメンテーション失敗による間接的な遮蔽にも対処できる。
• VDO-SLAMは実室内外データセットで最先端手法に対して顕著な改善を示す。
• カメラ姿勢、静的/動的構造、および全ての6-DoFオブジェクト運動を同時に推定する、完全な動的SLAMシステムを提供する。
• 研究者向けのVDO-SLAMのオープンソース実装が利用可能。