[論文レビュー] Lvio-Fusion: A Self-adaptive Multi-sensor Fusion SLAM Framework Using Actor-critic Method

Yupeng Jia, Haiyong Luo+6 more|arXiv (Cornell University)|Jun 12, 2021

Robotic Path Planning Algorithms被引用数 4

ひとこと要約

Lvio-Fusion は、ステレオカメラ、LiDAR、IMU、GPS を要因グラフ最適化によって統合する、密に結合された自己適応型マルチセンサ SLAM フレームワークを提案する。都市部のシーンにおけるずれを補正するために、セグメント化されたグローバルポーズグラフ最適化を採用し、強化学習に基づくアクタークリティックエージェントを用いてセンサ重みを動的に調整することで、KITTI および KAIST データセットで高い精度と耐障害性を達成し、リアルタイム性能を実現した。

ABSTRACT

State estimation with sensors is essential for mobile robots. Due to different performance of sensors in different environments, how to fuse measurements of various sensors is a problem. In this paper, we propose a tightly coupled multi-sensor fusion framework, Lvio-Fusion, which fuses stereo camera, Lidar, IMU, and GPS based on the graph optimization. Especially for urban traffic scenes, we introduce a segmented global pose graph optimization with GPS and loop-closure, which can eliminate accumulated drifts. Additionally, we creatively use a actor-critic method in reinforcement learning to adaptively adjust sensors' weight. After training, actor-critic agent can provide the system better and dynamic sensors' weight. We evaluate the performance of our system on public datasets and compare it with other state-of-the-art methods, which shows that the proposed method achieves high estimation accuracy and robustness to various environments. And our implementations are open source and highly scalable.

研究の動機と目的

• マルチセンサ SLAM における多様な環境下でのセンサ性能の不一致に取り組むこと。
• GPS およびループクロージャー制約を用いて、大規模な都市環境における累積的ずれを低減すること。
• 環境状態に応じて重みを調整する動的で自己適応型のセンサ統合メカニズムを開発すること。
• ステレオビジョン、LiDAR、IMU、GPS の密結合統合を用いて、リアルタイムで高精度なトラジェクトリ推定を可能にすること。

提案手法

• システムはビジュアルインertリアルオドメトリを用いてキーフレームを抽出し、ステレオカメラ、LiDAR、IMU、GPS を要因として要因グラフ最適化を実行する。
• 運動特性に応じて異なるトラジェクトリセグメントにセグメント化されたグローバルポーズグラフ最適化を適用し、都市部のシーンにおけるずれ補正を向上させる。
• 並列にトレーニングされたアクタークリティック強化学習エージェントが、リアルタイムの性能フィードバックに基づき、センサ要因の重みを動的に調整する。
• エージェントは KITTI シーケンス 02, 05, 06, 07, 09 でトレーニングされ、シーケンス 00 で検証され、検証中は RPE を評価指標として用いる。
• 軽量な TD3 ベースのエージェントは、ビジュアルおよび LiDAR 特徴量と IMU プレ統合を処理し、キーフレーム 1 枚あたり 5.56ms で適応的重みを計算する。
• 要因グラフアーキテクチャを介して、新しいセンサモダリティのプラグアンドプレイ統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 マルチセンサ SLAM システムは、センサ信頼性の変動する多様な環境でも、どのようにして頑健かつ高精度な状態推定を達成できるか？
• RQ2 強化学習ベースのエージェントは、リアルタイムでセンサ統合重みを適応的に調整でき、SLAM の精度を向上させることができるか？
• RQ3 GPS およびループクロージャーを用いたセグメント化されたグローバル最適化は、都市部の交通シーンにおける累積的ずれをどのように低減するか？
• RQ4 固定重み統合と比較して、自己適応型センサ重み付けメカニズムは、困難な都市環境でどの程度の性能向上をもたらすか？

主な発見

• KITTI データセットでは、自己適応型 Lvio-Fusion がシーケンス 00 で RPE RMSE を 1.73m から 1.39m に低下させ、精度が 20% 向上した。
• KAIST 市街地データセットでは、Lvio-Fusion は GPS が非常に動的で遮断されやすい状況下でも、VINS-Fusion の 70.69m に対して ATE RMSE 6.31m を達成し、顕著な性能優位性を示した。
• アクタークリティックエージェントは、リアルタイムで最適なセンサ重みを学習することで誤差を低減し、エポック 3 で収束し、最良のテスト報酬に到達した。
• キーフレーム 1 枚あたりの重み調整平均時間はわずか 5.56ms であり、本手法のリアルタイム実現可能性が裏付けられた。
• セグメント化されたグローバル最適化は、マルチパスや遮断による GPS シグナル劣化が生じる都市部でも、ずれの低減に効果的に寄与した。
• フレームワークはオープンソースであり、拡張性が高く、要因グラフアーキテクチャを介して新しいセンサモダリティの統合が容易に可能である。