[論文レビュー] R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package

Jiarong Lin, Fu Zhang|arXiv (Cornell University)|Sep 10, 2021

Advanced Vision and Imaging被引用数 41

ひとこと要約

R3 LIVE はリアルタイムに密に結合した LiDAR–Inertial–Visual SLAM およびマッピングシステムを提供し、LIO と VIO サブシステムを統合してRGB色付きの高密度3Dマップを生成する。オープンソース。

ABSTRACT

In this letter, we propose a novel LiDAR-Inertial-Visual sensor fusion framework termed R3LIVE, which takes advantage of measurement of LiDAR, inertial, and visual sensors to achieve robust and accurate state estimation. R3LIVE is contained of two subsystems, the LiDAR-inertial odometry (LIO) and visual-inertial odometry (VIO). The LIO subsystem (FAST-LIO) takes advantage of the measurement from LiDAR and inertial sensors and builds the geometry structure of (i.e. the position of 3D points) global maps. The VIO subsystem utilizes the data of visual-inertial sensors and renders the map's texture (i.e. the color of 3D points). More specifically, the VIO subsystem fuses the visual data directly and effectively by minimizing the frame-to-map photometric error. The developed system R3LIVE is developed based on our previous work R2LIVE, with careful architecture design and implementation. Experiment results show that the resultant system achieves more robustness and higher accuracy in state estimation than current counterparts (see our attached video). R3LIVE is a versatile and well-engineered system toward various possible applications, which can not only serve as a SLAM system for real-time robotic applications, but can also reconstruct the dense, precise, RGB-colored 3D maps for applications like surveying and mapping. Moreover, to make R3LIVE more extensible, we develop a series of offline utilities for reconstructing and texturing meshes, which further minimizes the gap between R3LIVE and various of 3D applications such as simulators, video games and etc (see our demos video). To share our findings and make contributions to the community, we open source R3LIVE on our Github, including all of our codes, software utilities, and the mechanical design of our device.

研究の動機と目的

• LiDAR、慣性、ビジュアルデータを密に融合することによって、リアルタイムの状態推定と高密度3Dマップ再構成を高度化する。
• 顕著な視覚特徴に依存せず、幾何マップ上にRGBテクスチャをレンダリングする。
• 色ベースのフォトメトリック制約を通じて、テクスチャなしや制約のある環境でのロバスト性を向上させる。
• オープンソースで拡張性のあるフレームワークと、メッシュテクスチャリングのオフラインツールを提供する。

提案手法

• 2つのサブシステム: LiDAR-Inertial Odometry (LIO) は誤差状態反復カルマンフィルタ (ESIKF) と点から平面への残差を用いてグローバルジオメトリマップを構築する。
• Visual-Inertial Odometry (VIO) は、マップ点の RGB 色を用いてフレーム間PnPとフレーム-to-mapフォトメトリック誤差を最小化することでマップテクスチャをレンダリングする。
• 固定サイズのボクセルと、姿勢・色・共分散情報を格納した点を用いたマップ表現。
• 観測された画像の色からベイズ的色融合を通じてマップ点のテクスチャをレンダリング。
• (i) 光学フローを用いたフレーム間PnP および (ii) フレーム-to-map フォトメトリック誤差最小化による2段階の VIO 更新、続いて色レンダリングとマップ更新。
• カラー化された点群からメッシュを再構築・テクスチャリングするオフラインユーティリティ。低ドリフトでリアルタイム動作を想定して設計。

実験結果

リサーチクエスチョン

• RQ1 密に結合された LiDAR–慣性–視覚フレームワークは、リアルタイムの性能を維持しつつ密な RGB 色付き地図を提供できるか？
• RQ2 VIO においてカラー情報を直接活用することは、テクスチャが乏しい、または難しい環境でロバスト性を向上させるか？
• RQ3 屋内外の長い軌跡で、姿勢ドリフトとマッピング精度はどの程度達成可能か？
• RQ4 シミュレータや3Dアプリケーションに適したテクスチャ付きメッシュを生産するオフラインツールで、システムを拡張できるか？

主な発見

• R3 LIVE はリアルタイムの高密度RGB色付き3Dマップ再構成を低ドリフトで達成（最大1.5 km後の平行移動0.16 m、回転3.9°）。
• フレーム-to-map フォトメトリック VIO 更新は、顕著な視覚特徴に頼らず、マップ点の色を用いて堅牢な姿勢推定を推進する。
• LiDAR 劣化とテクスチャなしの壁を用いたロバスト性テストでは、回転1.62°、並進4.57 cm のドリフトを示した。
• 大規模な屋内/屋外シーケンスの実験結果は、小さなドリフトで高精度のマッピングを示し、R3 LIVE の軌跡は真値（RTK）データと密接に一致し、ループクロージャ挙動を示す。
• 著者は GitHub 上でオープンソースのコード、ドキュメント、オフラインのメッシュ・テクスチャツールを提供している。