[論文レビュー] R$^3$LIVE++: A Robust, Real-time, Radiance reconstruction package with a tightly-coupled LiDAR-Inertial-Visual state Estimator

Jiarong Lin, Fu Zhang|arXiv (Cornell University)|Sep 8, 2022

Robotics and Sensor-Based Localization被引用数 13

ひとこと要約

R3LIVE++ は、幾何学的情報として LiDAR と光度情報としてカメラを融合することで、リアルタイムで頑健な状態推定と 3D ラディアンスマップ再構築を可能にする、密結合型 LiDAR-インertial-ビジョングループ SLAM システムを提案する。位置特定およびラディアンス再構築において最先端の精度を達成し、オンラインでの露出時間推定により高動態範囲（HDR）画像生成が可能になり、困難な環境下でも安定した性能を発揮する。

ABSTRACT

Simultaneous localization and mapping (SLAM) are crucial for autonomous robots (e.g., self-driving cars, autonomous drones), 3D mapping systems, and AR/VR applications. This work proposed a novel LiDAR-inertial-visual fusion framework termed R$^3$LIVE++ to achieve robust and accurate state estimation while simultaneously reconstructing the radiance map on the fly. R$^3$LIVE++ consists of a LiDAR-inertial odometry (LIO) and a visual-inertial odometry (VIO), both running in real-time. The LIO subsystem utilizes the measurements from a LiDAR for reconstructing the geometric structure (i.e., the positions of 3D points), while the VIO subsystem simultaneously recovers the radiance information of the geometric structure from the input images. R$^3$LIVE++ is developed based on R$^3$LIVE and further improves the accuracy in localization and mapping by accounting for the camera photometric calibration (e.g., non-linear response function and lens vignetting) and the online estimation of camera exposure time. We conduct more extensive experiments on both public and our private datasets to compare our proposed system against other state-of-the-art SLAM systems. Quantitative and qualitative results show that our proposed system has significant improvements over others in both accuracy and robustness. In addition, to demonstrate the extendability of our work, {we developed several applications based on our reconstructed radiance maps, such as high dynamic range (HDR) imaging, virtual environment exploration, and 3D video gaming.} Lastly, to share our findings and make contributions to the community, we make our codes, hardware design, and dataset publicly available on our Github: github.com/hku-mars/r3live

研究の動機と目的

• リアルタイムで頑健な SLAM システムの開発を目的とし、6-DoF の状態推定と高精細な 3D ラディアンスマップ再構築を同時に実現すること。
• 単独の LiDAR SLAM（テクスチャ不足）およびビジョングループ SLAM（照明変化やテクスチャレスなシーンに敏感）の限界を、センサーフュージョンによって克服すること。
• 露出時間のオンライン推定とスパarsなピクセル上の光度誤差最小化により、ラディアンス再構築の精度を向上させること。
• 再構築されたマップを用いて HDR 画像生成、バーチャル環境の探索、3D ゲーミングなどの実用的応用を可能とすること。
• コミュニティの採用と再現可能性を促進するため、オープンソースのコード、ハードウェア設計図、データセットを公開すること。

提案手法

• R3LIVE++ は、リアルタイムで動作する二つのサブシステムの密結合融合を採用している：幾何構造再構築のための LiDAR-インエーシャルオドメトリ（LIO）と、ラディアンス回復のためのビジョングループオドメトリ（VIO）。
• VIO サブシステムは、レンダリングされたマップポイントとスパースな画像ピクセル間のラディアンス差を最小化することで、カメラの姿勢を推定し、ドリフトを低減する。
• 光度誤差の最小化により、露出時間のオンライン推定が可能となり、ラディアンスの精度が向上し、HDR 再構築が実現する。
• フレーム対マップのアライメントとスパースピクセル追跡を用いることで、精度と計算負荷のバランスを取る。
• 校正済みの光度モデルを用いて、画像の色をマップ内の 3D ポイントに投影することで、ラディアンスマップを段階的に構築する。
• オフラインでのメッシュ生成とテクスチャマッピングには、CGAL および openMVS を用いたデローニ三角形分割とグラフカット法を採用し、一般的な 3D 形式（PLY, OBJ, PCD）をサポートする。

Figure 2: The overview of our proposed system.

実験結果

リサーチクエスチョン

• RQ1 密結合型 LiDAR-インエーシャル-ビジョングループ統合フレームワークは、厳しい条件下でもリアルタイムかつ高精度な状態推定と 3D ラディアンスマップ再構築を達成できるか？
• RQ2 露出時間のオンライン推定は、固定値または事前キャリブレーションされた露出設定と比較して、ラディアンス再構築の精度をどのように向上させるか？
• RQ3 提案された VIO アーキテクチャは、リアルタイム性能を維持しつつ、オドメトリのドリフトをどの程度低減できるか？
• RQ4 LiDAR センサーやビジョングループセンサーが個別に失敗する状況（例：テクスチャレスな壁、低照度環境）において、R3LIVE++ はどのように動作するか？
• RQ5 再構築されたラディアンスマップは、HDR 画像生成、VR/AR、3D ゲーミングなどの高精細な後続応用をサポートできるか？

主な発見

• NCLT データセットにおいて、25 個のシーケンスすべてにおいて、比較されたすべての SOTA の SLAM システムの中で最高の総合的精度を達成した。
• 単一のテクスチャレスな壁に向かっても、LiDAR およびビジョングループ SLAM が通常失敗するような極端な状況においても、R3LIVE++ は頑健な性能を示した。
• 露出時間をオンラインで推定することで、真値と比較して顕著に低いラディアンス再構築誤差を達成した。
• 異なる露出時間（1ms から 10ms）でレンダリングされた画像を統合することで、高品質な HDR 出力が得られ、HDR 画像生成が成功裏に実証された。
• 再構築されたマップは、AirSim 上の車両シミュレータやモバイル・デスクトッププラットフォーム向けの 3D ゲームなど、高精細な応用を可能にした。
• システムのオープンソースリリースには、GitHub 上でコード、ハードウェア設計図、データセットが含まれており、再現可能性とコミュニティによる拡張を促進している。

Figure 3: The image formation process of a color camera.