[論文レビュー] OrcVIO: Object residual constrained Visual-Inertial Odometry

Mo Shan, Vikas Dhiman+3 more|arXiv (Cornell University)|Jul 29, 2020

Robotics and Sensor-Based Localization参考文献 97被引用数 4

ひとこと要約

OrcVIOは、物体検出器からの意味的残差と意味的キーポイントを用いて、センサの軌道と3次元物体のポーズを同時に推定する密結合型のビジュアルインertシャルオドメトリーシステムを提案する。物体特徴とバウンディングボックスの測定値を変更されたMSCKFフレームワークに統合することで、純粋な幾何的SLAM手法に比べて、より高い耐障害性と一貫性を備えた正確でリアルタイムなセンサ位置特定と大規模な意味的マップ作成を実現する。

ABSTRACT

Introducing object-level semantic information into simultaneous localization and mapping (SLAM) system is critical. It not only improves the performance but also enables tasks specified in terms of meaningful objects. This work presents OrcVIO, for visual-inertial odometry tightly coupled with tracking and optimization over structured object models. OrcVIO differentiates through semantic feature and bounding-box reprojection errors to perform batch optimization over the pose and shape of objects. The estimated object states aid in real-time incremental optimization over the IMU-camera states. The ability of OrcVIO for accurate trajectory estimation and large-scale object-level mapping is evaluated using real data.

研究の動機と目的

• 幾何的SLAMと意味的シーン理解の間のギャップを埋めるために、オブジェクトレベルの事前知識をビジュアルインエラシャルオドメトリに統合すること。
• ディープラーニングベースのオブジェクト検出とトラッキングを用いたリアルタイムSLAMシステムにおいて、オンラインでグローバルに一貫性のあるオブジェクトマッピングが不足している問題を解決すること。
• オブジェクト特徴とバウンディングボックスからの意味的残差を活用することで、センサの軌道推定の正確性を向上させること。
• 1つの最適化フレームワーク内で、IMU-カメラの状態とオブジェクトの状態（ポーズ、方向、粗い形状と詳細な形状）をリアルタイムで段階的に推定できること。

提案手法

• 検出されたオブジェクトの位置、方向、粗い楕円体形状、および詳細な意味的キーポイントに基づく形状をモデル化するオブジェクト状態を導入する。
• 2つの新しい残差項を定義する：1つはオブジェクトの意味的キーポイントと視覚特徴を結ぶもので、もう1つはオブジェクトのバウンディングボックス検出と推定されたオブジェクト形状を結ぶものである。
• すべての意味的残差に対して閉形式のヤコビ行列を導出することで、変更されたマルチステート制約カルマンフィルタ（MSCKF）内での効率的でリアルタイムの最適化を可能にする。
• MSCKFを拡張し、複数の視点にわたってIMU-カメラ状態とオブジェクト状態をオンラインで密結合的に最適化する仕組みを実装する。
• 粗いカテゴリに依存しない楕円体モデルと、細かいカテゴリ固有の意味的キーポイントモデルを用いて、オブジェクトの形状とポーズを表現する。
• 静止期間中の誤差を低減するために、擬似インエラシャル測定に基づくゼロ速度更新を採用する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトレベルの意味的事前知識は、リアルタイムシステムにおけるビジュアルインエラシャルオドメトリの正確性と耐障害性を向上させることができるか？
• RQ2 オブジェクト特徴とバウンディングボックスの測定値は、センサとオブジェクト状態の同時推定を目的とした要因グラフ最適化フレームワークに効果的に統合できるか？
• RQ3 意味的残差を組み込むことで、純粋な幾何的SLAMに比べて、軌道推定とオブジェクトマッピングの性能がどの程度向上するか？
• RQ4 密結合的かつ段階的な推定フレームワークは、センサ状態とオブジェクト状態の両方を最適化しながらも、リアルタイム性能を維持できるか？
• RQ5 意味的キーポイントと形状事前知識の使用は、大規模な意味的マップの整合性と解釈可能性をどのように向上させるか？

主な発見

• OrcVIOは、繰り返し構造が存在する環境においても、ベースラインの幾何的SLAM手法に比べて顕著に向上したセンサ軌道の正確性を達成した。
• オブジェクトの意味的残差の統合により、ドリフトが低減され、ループクロージャーの性能が向上した。
• 本システムは、幾何的に整合性があり意味的に豊かなマップを生成し、シミュレーションおよび実環境の両方の実験で、推定されたオブジェクトの形状とポーズが真値に近い結果を得た。
• 粗い楕円体モデルと詳細な意味的キーポイントモデルの併用により、詳細なCADモデルが不要な状態で正確なオブジェクト表現が可能になった。
• アルゴリズムはリアルタイムで動作し、オンラインでの段階的推定をサポートしており、モバイルロボットプラットフォームへの実装に適している。
• ゼロ速度更新は静止期間中のドリフト低減に効果的であり、さらに軌道の正確性を向上させた。