[論文レビュー] VIRAL SLAM: Tightly Coupled Camera-IMU-UWB-Lidar SLAM

Thien‐Minh Nguyen, Shenghai Yuan+3 more|arXiv (Cornell University)|May 7, 2021

Robotics and Sensor-Based Localization参考文献 25被引用数 27

ひとこと要約

VIRAL SLAM は、IMU、ステレオカメラ、複数のライダー、UWB 距離測定を統合した緊密に結合された SLAM フレームワークを提示します。局所スライディングウィンドウオドメトリを用いた二段階アプローチ、グローバルポーズグラフ最適化、ループクロージャ、および onboard SLAM フレームと UWB アンカーを整合させる BA を採用します。

ABSTRACT

In this paper, we propose a tightly-coupled, multi-modal simultaneous localization and mapping (SLAM) framework, integrating an extensive set of sensors: IMU, cameras, multiple lidars, and Ultra-wideband (UWB) range measurements, hence referred to as VIRAL (visual-inertial-ranging-lidar) SLAM. To achieve such a comprehensive sensor fusion system, one has to tackle several challenges such as data synchronization, multi-threading programming, bundle adjustment (BA), and conflicting coordinate frames between UWB and the onboard sensors, so as to ensure real-time localization and smooth updates in the state estimates. To this end, we propose a two stage approach. In the first stage, lidar, camera, and IMU data on a local sliding window are processed in a core odometry thread. From this local graph, new key frames are evaluated for admission to a global map. Visual feature-based loop closure is also performed to supplement the global factor graph with loop constraints. When the global factor graph satisfies a condition on spatial diversity, the BA process will be triggered to update the coordinate transform between UWB and onboard SLAM systems. The system then seamlessly transitions to the second stage where all sensors are tightly integrated in the odometry thread. The capability of our system is demonstrated via several experiments on high-fidelity graphical-physical simulation and public datasets.

研究の動機と目的

• 補完的なセンサを組み合わせて堅牢でリアルタイムの局所化を実現する動機づけ。
• クロスセンサ間の座標系と同期を解決し、密な融合を可能にする。
• ループクロージャと BA を含む局所オドメトリとグローバル最適化を組み込んだ二段階フレームワークを開発する。
• ライダー由来のマップを用いた視覚特徴のマージナル化スキームを導入する。
• 実世界データセットとシミュレーションデータセットの両方で精度と堅牢性を示す。

提案手法

• スライディングウィンドウ上で動作する局所オドメトリスレッドと、グローバル BA スレッドを備えた二段階の VIRAL フレームワーク。
• 周辺化されたキーフレームを格納し、L-W 変換と UWB 距離測定のバイアスを推定するグローバルポーズグラフ。
• 複数のライダー、IMU、UWB バンドル、およびステレオカメラデータを joint optimization のために整列させる同期スキーム。
• 視覚特徴をローカルのライダベースマップへマージナル化する MMM（マップマッチング・マージナル化）。
• UWB の統合はアンカー座標推定（世界座標系 W）をロボット状態最適化から分離し、BA でこれを更新します。
• スライディングウィンドウ上の多センサーコスト関数によるジョイント最適化。IMU、ライダ、UWB、視覚観測を頑健な損失関数とともに組み込む。

実験結果

リサーチクエスチョン

• RQ1 IMU、ステレオカメラ、ライダ、およびUWB 距離測定を、リアルタイム SLAM システムにおいていかに密に統合できるか？
• RQ2 UWB アンカーをどのように初期化・融合して、グローバルローカライゼーションを提供しつつローカルSLAMの一貫性を維持するべきか？
• RQ3 複数ライダー、IMU、カメラ、UWB のデータをリアルタイム性能を損なうことなく融合するためには、どのような同期戦略が必要か？
• RQ4 多センサ SLAM の文脈でループクロージャを検出・精査する方法と、BA がクロスセンサ変換をどのように扱うか？
• RQ5 低テクスチャや照明変動などの困難な環境において、UWB と複数のライダを含めることが、カメラ-IMU またはライダのみのベースラインと比較して局所化精度に与える影響はどの程度か？

主な発見

• IMU、カメラ、ライダ、UWB の密結合融合によるリアルタイム局所化を実証。
• 十分な空間的多様性が達成された後に BA で UWB アンカーの変換を洗練させる二段階プロセスを導入。
• 視覚的場所認識に導かれたループ閉鎖と、グローバル整合性を強化する二段階の点群整合を示す。
• アンカー推定と距離バイアスを BA スレッドに分割して、局所最適化中はこれらを固定する堅牢な UWB 融合戦略を提案し、収束を支援。
• NTU VIRAL データセット、建物検査データセット、および ground-truth を用いた AirSim で評価し、低テクスチャおよび困難な状況での堅牢性を示す。