[論文レビュー] R2LIVE: A Robust, Real-time, LiDAR-Inertial-Visual tightly-coupled state Estimator and mapping

Jiarong Lin, Chunran Zheng+2 more|arXiv (Cornell University)|Feb 24, 2021

Robotics and Sensor-Based Localization参考文献 26被引用数 9

ひとこと要約

R2LIVEは、リアルタイムで、LiDAR、IMU、カメラセンサーのデータを誤差状態反復カルマンフィルタを用いて密に統合するLiDAR-インertシャル-ビジョナリーステート推定器を提示する。リアルタイムオドメトリと要因グラフ最適化による地図の最適化を実現する。300mのシーケンスにおいて、回転誤差が0.3°未塔、並進誤差が0.25%未塔を達成し、特徴が乏しく、動的で、大規模な環境において高い精度と耐障害性を示した。

ABSTRACT

In this letter, we propose a robust, real-time tightly-coupled multi-sensor fusion framework, which fuses measurement from LiDAR, inertial sensor, and visual camera to achieve robust and accurate state estimation. Our proposed framework is composed of two parts: the filter-based odometry and factor graph optimization. To guarantee real-time performance, we estimate the state within the framework of error-state iterated Kalman-filter, and further improve the overall precision with our factor graph optimization. Taking advantage of measurement from all individual sensors, our algorithm is robust enough to various visual failure, LiDAR-degenerated scenarios, and is able to run in real-time on an on-board computation platform, as shown by extensive experiments conducted in indoor, outdoor, and mixed environment of different scale. Moreover, the results show that our proposed framework can improve the accuracy of state-of-the-art LiDAR-inertial or visual-inertial odometry. To share our findings and to make contributions to the community, we open source our codes on our Github.

研究の動機と目的

• 特徴が乏しい、あるいは退化した環境（例：細いトンネル、低テクスチャ領域）におけるLiDARオンリースレービングの限界を解消すること。
• LiDAR、インertシャルセンサー、ビジョナルカメラからの測定値を密に統合することで、ステート推定の耐障害性と精度を向上させること。
• 埋め込みプラットフォームでもリアルタイム性能を維持しながら、高精度な局所化と地図作成を実現すること。
• 明示的なループクロージャ検出メカニズムを必要とせず、最小限のドリフトで大規模かつ高密度の3次元地図作成を可能とすること。

提案手法

• 本システムは、リアルタイムステート推定のため、LiDAR、インertシャル、ビジョナル測定値を密に結合する高レート誤差状態反復カルマンフィルタ（ESIKF）を採用する。
• 別途、低レートの要因グラフ最適化により、スライディングウインドウ内のキーフレームの姿勢とビジョナルランドマークの位置を最適化することで、局所地図を精緻化する。
• LiDAR-インエントシャルオドメトリ部では、状態次元に比例する複雑性に抑える新しいカルマンゲイン計算手法を採用し、測定次元に依存しない。
• ビジョナル特徴は、ビジョナル-インエントシャルオドメトリモジュールを用いて抽出・追跡され、ESIKFフレームワーク内でLiDARおよびIMUデータと密に結合される。
• LiDARからの幾何的特徴（エッジ、平面）とスパースビジョナル特徴を併用することで、センサー障害や運動課題に伴う耐障害性を向上させる。
• 要因グラフ最適化は別スレッドで実行され、メインフィルターよりも低い周波数で動作するため、精度と計算負荷のバランスを取ることができる。

Figure 1: We use our proposed method to reconstruct a high precision, large scale, indoor-outdoor, dense 3D maps of the main building of the University of Hong Kong (HKU). The green path is the computed trajectory and the 3D points are colored by height.

実験結果

リサーチクエスチョン

• RQ1 LiDAR、インエントシャル、ビジョナルセンサーの密な統合は、幾何的特徴が乏しい、またはセンサー劣化が生じる環境で、著しく耐障害性を向上させることができるか？
• RQ2 誤差状態反復カルマンフィルタを用いたフィルタベースのオドメトリシステムは、埋め込みプラットフォームでも高精度を維持しながら、リアルタイム性能をどのように達成できるか？
• RQ3 複雑な動きや動く物体を伴う大規模な屋内・屋外環境において、本システムはどの程度の性能を示すか？
• RQ4 明示的なループクロージャ検出や後処理を一切行わずに、ループクロージャを達成し、正確な地図作成が可能か？
• RQ5 急激な運動やセンサー障害下において、最先端のLiDAR-インエントシャルまたはビジョナル-インエントシャルシステムと比較して、局所化精度にどの程度の定量的向上が見られるか？

主な発見

• 高動的運動（最大130°/sの角速度）を伴う300mの屋外軌道において、R2LIVEは中央値として0.27°（回転）および0.21%（並進）の相対姿勢誤差を達成し、Vins-MonoおよびFast-LIOを上回った。
• 本システムは、香港大学の本館（屋内・屋外両方）の高密度かつ高精度な3次元地図を再構築し、点群が公式のストリートマップと非常に密に一致した。
• 明示的なループクロージャ処理を一切行わず、876メートル走行後にループを閉じた。これは、長期間にわたる運用において極めて低いドリフトを示している。
• デスクトップ（Intel i7-9700K）および埋め込みプラットフォーム（Intel i7-8550U）の両方でリアルタイム性能を達成し、オドメトリ処理の平均時間はそれぞれ15.98msおよび24.37msであった。
• 動く歩行者やLiDARの視野が限られたトンネルのような環境でも、本システムは安定して動作し、ビジョナルおよびLiDARの課題に対しても正確なステート推定を維持した。
• 要因グラフ最適化により地図の精度が顕著に向上し、衛星画像との一致がさらに高まり、長時間のシーケンスにおけるトラジェクトリードリフトが減少したことが裏付けられた。

Figure 2: The overview of our proposed method.