[論文レビュー] RGB-D-Inertial SLAM in Indoor Dynamic Environments with Long-term Large Occlusion

Ran Long, Christian Rauch+3 more|arXiv (Cornell University)|Mar 23, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本論文は、カメラの追跡、動的物体のクラスタごとの密分割、および結合されたスパarsityと密な特徴を用いたスパース静的マップの維持を同時に実行する、ロバストなRGB-DインertリアルSLAMシステムを提案する。長期間にわたる大規模な遮断状況において、局所化、動的物体のセグメンテーション、バックグラウンド再構築の面で、最先端の手法を上回る性能を達成する。

ABSTRACT

This work presents a novel RGB-D-inertial dynamic SLAM method that can enable accurate localisation when the majority of the camera view is occluded by multiple dynamic objects over a long period of time. Most dynamic SLAM approaches either remove dynamic objects as outliers when they account for a minor proportion of the visual input, or detect dynamic objects using semantic segmentation before camera tracking. Therefore, dynamic objects that cause large occlusions are difficult to detect without prior information. The remaining visual information from the static background is also not enough to support localisation when large occlusion lasts for a long period. To overcome these problems, our framework presents a robust visual-inertial bundle adjustment that simultaneously tracks camera, estimates cluster-wise dense segmentation of dynamic objects and maintains a static sparse map by combining dense and sparse features. The experiment results demonstrate that our method achieves promising localisation and object segmentation performance compared to other state-of-the-art methods in the scenario of long-term large occlusion.

研究の動機と目的

• 長期間にわたって複数の動的物体に視界が遮断される状況下でも、正確なカメラの局所化を達成すること。
• 既存の動的SLAM手法が、動的物体がシーンを支配し、セマンティックセグメンテーションや外れ値除去によって検出できない場合に失敗するという限界を克服すること。
• IMUからの運動事前情報と、カメラのポーズ、動的物体のセグメンテーション、静的マップ再構築を同時に推定するタイトに結合されたバンドル調整を統合することで、ロバストなビジュアルインertリアルSLAMを実現すること。
• 動的領域からのマップポイントを能動的に削除し、スパース静的マップを維持することで、長期間にわたるロバストネスを向上させること。
• 推定されたカメラ軌跡と動的物体セグメンテーションを用いて、全シーケンス処理後に行う密なバックグラウンド再構築を実現すること。

提案手法

• カメラのポーズ、IMUバイアス、密な動的物体セグメンテーション、スパース静的マップポイントを同時に最適化するタイトに結合されたビジュアルインエラルSLAMバンドル調整を提案する。
• 長期間の大規模な遮断下でも耐性を高めるために、キーフレームからのスパース特徴とRGB-D入力からの密な特徴を統合する。
• 静的背景特徴が乏しい状況でも、IMUからの運動事前情報を活用して、大規模な遮断を引き起こす動的物体の検出を向上させる。
• 時間経過に伴い複数の動的物体を静的背景から識別・分離するため、クラスタごとの密なセグメンテーション手法を採用する。
• 動的領域に関連するマップポイントを能動的に削除することで、長期間にわたる遮断中でもマップの一貫性を保つスパース静的マップを維持する。
• 推定されたカメラ軌跡と密なセグメンテーションを用いて、後処理段階で密なバックグラウンド再構築を実行し、正確な静的シーンモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 カメラの視界の大部分が長期間にわたって複数の動的物体に遮断される状況下でも、ビジュアルインエラルSLAMシステムが正確なカメラ局所化を維持できるか。
• RQ2 事前のセマンティック知識や支配的静的背景特徴が欠如する状況下で、動的物体を効果的に検出・セグメンテーションできるか。
• RQ3 従来の手法と比較して、スパースと密な特徴を組み合わせることで、長期間の大規模な遮断状況における耐性がどの程度向上するか。
• RQ4 タイトに結合されたバンドル調整フレームワークが、深刻な遮断下でもカメラの運動、動的物体セグメンテーション、静的マップ再構築を同時に推定できるか。
• RQ5 局所化精度、動的セグメンテーション、バックグラウンド再構築の観点から、本手法は最先端のSLAMシステムと比較してどの程度の性能を示すか。

主な発見

• 本手法は、長期間の大規模な遮断シーケンス（LTLO）において、最先端の手法と比較して優れた局所化精度を達成しており、40秒を超える長時間の遮断が続くシーケンスでも顕著に優位である。
• 動的物体セグメンテーションにおいて、LTLOシーケンス（seq7）の全フレームにわたり一貫性があり正確なクラスタごとの密なセグメンテーションを提供するのは、本手法に限る。SF、CF、PFは失敗または一貫性のない結果を示す。
• バックグラウンド再構築において、StaticFusion（SF）とCo-Fusion（CF）を上回る性能を発揮する。SFは動的物体を静的モデルに誤ってマッピングするが、CFは不完全なセグメンテーションを生成する。
• PlanarFusion（PF）はSFやCFよりも優れたセグメンテーションを示すが、動的物体の除去後に一貫性のない局所化が生じ、再構築時に静的物体がずれてしまう。
• アブレーションスタディの結果、ループクロージャースレッドを無効化すると局所化精度が低下し、動的物体の削除が長期間の遮断下での耐性向上に顕著に寄与することが確認された。
• 推定された軌跡とセグメンテーションを用いた密なバックグラウンド再構築は、真値に非常に近い結果を示し、後処理再構築パイプラインの有効性を裏付けている。