[論文レビュー] FAST-LIVO: Fast and Tightly-coupled Sparse-Direct LiDAR-Inertial-Visual Odometry

Chunran Zheng, Qingyan Zhu+4 more|arXiv (Cornell University)|Mar 2, 2022

Robotics and Sensor-Based Localization被引用数 7

ひとこと要約

FAST-LIVOは、LiDARで構築された点群地図から投影された画像パッチの直接的光度整合と、直接的な生点群登録を用いて、同時にポーズを最適化する高速で密結合型のスパース・ディレクト・LiDAR-インertial・ビジュアルオドメトリーシステムを提案する。本システムは、テクスチャの欠片な壁、LiDAR性能が低下した環境、急激な運動といった困難な環境において、最先端の精度と耐障害性を達成している。また、IntelおよびARMプラットフォームの両方でリアルタイム動作が可能であり、1フレームあたりの平均処理時間は36.75 msである。

ABSTRACT

To achieve accurate and robust pose estimation in Simultaneous Localization and Mapping (SLAM) task, multi-sensor fusion is proven to be an effective solution and thus provides great potential in robotic applications. This paper proposes FAST-LIVO, a fast LiDAR-Inertial-Visual Odometry system, which builds on two tightly-coupled and direct odometry subsystems: a VIO subsystem and a LIO subsystem. The LIO subsystem registers raw points (instead of feature points on e.g., edges or planes) of a new scan to an incrementally-built point cloud map. The map points are additionally attached with image patches, which are then used in the VIO subsystem to align a new image by minimizing the direct photometric errors without extracting any visual features (e.g., ORB or FAST corner features). To further improve the VIO robustness and accuracy, a novel outlier rejection method is proposed to reject unstable map points that lie on edges or are occluded in the image view. Experiments on both open data sequences and our customized device data are conducted. The results show our proposed system outperforms other counterparts and can handle challenging environments at reduced computation cost. The system supports both multi-line spinning LiDARs and emerging solid-state LiDARs with completely different scanning patterns, and can run in real-time on both Intel and ARM processors. We open source our code and dataset of this work on Github to benefit the robotics community.

研究の動機と目的

• テクスチャの欠片な環境や構造の欠片な環境における単一センサSLAMの限界を解消するため、LiDAR、IMU、ビジュアルデータを統合する。
• ビジュアルオドメトリーディスプレイの特徴抽出とマッチングを排除することで、マルチセンサ統合SLAMにおける計算コストを低減する。
• LiDAR性能が低下した環境やビジュアルテクスチャの欠片な壁といった困難なシナリオにおける耐障害性と精度を向上させる。
• ハイエンドプロセッサ（Intel）と組み込みプロセッサ（ARM）の両方でリアルタイム動作を実現し、回転式LiDARおよび固体状態LiDARの両方をサポートする。
• 状態推定の統合のみではなく、測定レベルでLiDARとビジュアル測定を密結合に統合するフレームワークを構築する。

提案手法

• 点対平面の残差を用いて、生のLiDAR点を段階的に構築された点群地図に直接登録するLiDAR-インエーシャルオドメトリ（LIO）サブシステムを構築する。
• LIOサブシステムから得た地図点に画像パッチを関連付け、それらを新しいカメラフレームに投影して、ビジュアル-インエーシャルオドメトリ（VIO）サブシステムにおける直接的光度整合を実現する。
• 特徴抽出（例：ORB、FASTなど）を回避するため、投影された画像パッチと現在の画像ピクセル間の光度誤差を最小化することで、スパース・ディレクト・ビジュアル整合を実行する。
• 特にエッジ上や視認不能な場所にある地図点を特定し、不安定な点として除外する、新しい外れ値除外手法を導入し、VIOの耐障害性を向上させる。
• 誤差状態イテレートカルマンフィルタ（ESIKF）を用いて、LiDAR、ビジュアル、IMU測定値を統合し、密結合型の状態推定を実現する。
• 多ライン回転式LiDARと固体状態LiDARの両方の異なるスキャンパターンを、統一された処理パイプラインで処理できるようにする。

実験結果

リサーチクエスチョン

• RQ1 テクスチャの欠片な環境や構造の欠片な環境において、既存のLIVOシステムに比べ、密結合型でスパース・ディレクトなLiDAR・ビジュアル・インertialデータ統合が、より高い精度と耐障害性を達成できるか。
• RQ2 LiDAR地図から事前に投影された画像パッチを用いた直接的光度整合により、ビジュアル特徴抽出とマッチングの必要性をどの程度低減できるか。
• RQ3 提案手法の外れ値除外手法は、遮蔽やエッジ上に位置する地図点があるシーンにおけるVIO性能をどのように向上させるか。
• RQ4 ハイエンド（Intel）および組み込み（ARM）プラットフォームの両方で、多様なLiDARタイプをサポートしながらも、リアルタイム性能を維持できるか。
• RQ5 テクスチャの欠片な壁、LiDAR性能が低下した環境、急激な運動といった極端なシナリオにおいて、システムの性能はいかがであるか。

主な発見

• LiDAR性能が低下した環境で長大なテクスチャの欠片な壁を走破した際、FAST-LIVOは0.05 mという最小のエンドツーエンドドリフトを達成し、FAST-LIO2およびSVO2.0を上回った。
• 屋内・屋外の移行、急激な運動、テクスチャの欠片な白い壁を含む極めて困難なビジュアルシーケンスにおいて、79.52 mの走行距離でエンドツーエンド誤差はわずか0.04 mにとどまった。
• デスクトップ用Intel i7-10700Uで平均1フレームあたり36.75 msの処理時間を達成し、LIO+VIOフロントエンドのR2LIVE（45.16 ms）よりも顕著に高速であった。
• Qualcomm Kryo585 CPU搭載の組み込みRB5プラットフォームでは、1フレームあたり13.82 msの合計処理時間を達成し、ARMプロセッサ上での高い効率性を示した。
• HKUキャンパス環境の高密度でリアルタイムなRGBカラー3次元マップを成功して再構築し、拡大表示で細かなビジュアルディテールが確認できた。
• VIOサブシステムはIntelで平均10.23 ms、ARMで13.82 msを記録した。LIOサブシステムはそれぞれ26.52 msおよび51.51 msを要し、異なるプラットフォームにおける優れたスケーラビリティを示した。