[論文レビュー] LVI-SAM: Tightly-coupled Lidar-Visual-Inertial Odometry via Smoothing and Mapping

Tixiao Shan, Brendan Englot+2 more|ArXiv.org|Apr 22, 2021

Robotics and Sensor-Based Localization参考文献 25被引用数 29

ひとこと要約

LVI-SAMは、情報を共有する2つの相互作用サブシステム（VISとLIS）を持つ因子グラフ上に構築された密結合の LVIO フレームワークを提示し、リアルタイムの状態推定とマッピングのために頑健な初期化を可能にし、ループ閉鎖を可能にし、片方のサブシステムが故障しても機能する。

ABSTRACT

We propose a framework for tightly-coupled lidar-visual-inertial odometry via smoothing and mapping, LVI-SAM, that achieves real-time state estimation and map-building with high accuracy and robustness. LVI-SAM is built atop a factor graph and is composed of two sub-systems: a visual-inertial system (VIS) and a lidar-inertial system (LIS). The two sub-systems are designed in a tightly-coupled manner, in which the VIS leverages LIS estimation to facilitate initialization. The accuracy of the VIS is improved by extracting depth information for visual features using lidar measurements. In turn, the LIS utilizes VIS estimation for initial guesses to support scan-matching. Loop closures are first identified by the VIS and further refined by the LIS. LVI-SAM can also function when one of the two sub-systems fails, which increases its robustness in both texture-less and feature-less environments. LVI-SAM is extensively evaluated on datasets gathered from several platforms over a variety of scales and environments. Our implementation is available at https://git.io/lvi-sam

研究の動機と目的

• 因子グラフフレームワーク内で視覚慣性とLiDAR慣性システムを密に結合して、lidar-visual-inertial odometryの頑健性と精度を向上させる。
• 信頼性の高い初期化、LiDARからの特徴深度推定、ループ閉鎖を可能にしてドリフトを低減する。
• もう一方が故障した場合でもVISまたはLISのいずれかが独立して動作できるようにして頑健性を提供する。
• 多様なデータセットとプラットフォームに渡る性能を検証し、LVIOの強力なベースラインを確立する。

提案手法

• 密に結合された2つのサブシステム: 視覚慣性システム (VIS) と LiDAR慣性システム (LIS)。
• VISは視覚再投影誤差とIMU残差を最小化し、初期化と深度推定を改善するためにLiDARから特徴深度を取得できる。
• LISはLiDARの特徴抽出とスライディングウィンドウ特徴マップに対するスキャンマッチングを実行し、IMU前処理とIMUおよびVISからの初期推定を用いる。
• 因子グラフはIMU前積分、視覚オドメトリ、LiDARオドメトリ、ループ閉鎖制約を統合し、MAP推定のためにiSAM2で解かれる。
• ループ閉鎖は最初にVISによって特定され、LISによって洗練され、グローバル最適化とドリフト低減を可能にする。
• 別のサブシステムが故障した場合にVISまたはLISのいずれかを再初期化できる故障検知によってシステムの頑健性が向上する。

Figure 1: The system structure of LVI-SAM. The system, which receives input from a 3D lidar, a camera and an IMU, can be divided into two sub-systems: a visual-inertial system (VIS) and a lidar-inertial system (LIS). The VIS and LIS can function independently while using information from each other

実験結果

リサーチクエスチョン

• RQ1 VISとLISの両方を活用する密結合LVIOフレームワークは、単一センサーや緩く結合されたアプローチより頑健性と精度を向上させることができるか。
• RQ2 初期化、深度推定、ループ閉鎖を、テクスチャが欠如している、または劣化した環境で頑健に動作させる設計とは。
• RQ3 リアルタイムマッピングのためにVIS、LIS、IMU、およびループ閉鎖制約を融合する際の因子グラフベース最適化の役割は何か。
• RQ4 さまざまなプラットフォームとスケールで、強い精度を維持しつつリアルタイム性能を維持できるか。

主な発見

• 提案されたフレームワークは、劣化した環境での頑健性を持つリアルタイムの状態推定とマッピングを達成する。
• LiDARからの深度補強視覚特徴は、VISの初期化と全体的な精度を向上させる。
• VISによるループ閉鎖はLISによって洗練され、グローバル最適化とドリフト低減を可能にする。
• 一方のサブシステムが故障した場合でもVISとLISは独立して動作でき、テクスチャが乏しい設定での頑健性を高める。
• 複数のデータセットとプラットフォームでの広範な実験は、既存のLVIO/LIOベースラインと比較して競争力のある、または優れた精度を示す。

Figure 2: The framework of our visual-inertial system. The system optimizes residuals from IMU preintegration, visual measurements without depth, and visual measurements with depth.