[論文レビュー] Tightly-Coupled Radar-Visual-Inertial Odometry

M. Nissov, Mohit Singh+1 more|arXiv (Cornell University)|Mar 24, 2026

Robotics and Sensor-Based Localization被引用数 0

ひとこと要約

この論文は、IEKF で画像特徴、レーダー・ドップラー、IMU データを統合する密結合型の Radar-Visual-Inertial Odometry システム RadVIO を提案し、レーダーが画像深度推定を補助する形で、屋内外飛行で評価する。

ABSTRACT

Visual-Inertial Odometry (VIO) is a staple for reliable state estimation on constrained and lightweight platforms due to its versatility and demonstrated performance. However, pertinent challenges regarding robust operation in dark, low-texture, obscured environments complicate the use of such methods. Alternatively, Frequency Modulated Continuous Wave (FMCW) radars, and by extension Radar-Inertial Odometry (RIO), offer robustness to these visual challenges, albeit at the cost of reduced information density and worse long-term accuracy. To address these limitations, this work combines the two in a tightly coupled manner, enabling the resulting method to operate robustly regardless of environmental conditions or trajectory dynamics. The proposed method fuses image features, radar Doppler measurements, and Inertial Measurement Unit (IMU) measurements within an Iterated Extended Kalman Filter (IEKF) in real-time, with radar range data augmenting the visual feature depth initialization. The method is evaluated through flight experiments conducted in both indoor and outdoor environments, as well as through challenges to both exteroceptive modalities (such as darkness, fog, or fast flight), thoroughly demonstrating its robustness. The implementation of the proposed method is available at: https://github.com/ntnu-arl/radvio.

研究の動機と目的

• 暗く、低テクスチャ、視界を遮る条件下での VIO の頑健性を FMCW レーダーを活用して向上させる。
• レーダーとビジョンの外部内部推定を同時に行う密結合な融合フレームワークを開発する。
• スパースなレーダーポイントクラウドを用いて単眼特徴の深度初期推定を実現する。
• 飛行実験を通じてオンラインの RadVIO のリアルタイム性能とレーダー-IMU の外部推定の改良を示す。

提案手法

• Iterated Extended Kalman Filter (IEKF) 内で画像特徴測定、レーダーの径速度測定、および IMU データを融合する。
• スライディングウィンドウのレーダーボクセルマップから得られる深度推定を用いて視覚特徴の深度初期化を拡張する。
• 状態を robocentric な定式化で表現し、線形化誤差を低減し、長期的なヨー方位ドリフトを速度推定から分離する。
• ego-velocity と Doppler 測定を結ぶ rad_SPEED 測定関数を用いたレーダー更新をモデル化し、IEKF の更新に対応するヤコビ行列を導出する。
• 誤校正から生じるドリフトを抑制するために、レーダー-IMU およびレーダー-カメラの外部推定をオンラインでキャリブレーション可能とする。

実験結果

リサーチクエスチョン

• RQ1 密結合の radar-visual-inertial 融合は、照明・テクスチャ・ obscurant 条件全般でオドメトリの頑健性を向上させ得るか。
• RQ2 レーダーの径速測定を視覚特徴とともに IEKF に統合してリアルタイムの状態推定を達成できるか。
• RQ3 sparse なレーダーポイントクラウドからのレーダー深度初期推定は単眼特徴の深度初期化を改善するか。
• RQ4 オンラインのレーダー-IMU およびレーダー-カメラの外部推定は RadVIO のドリフト低減に有効か。

主な発見

• RadVIO は Forest、Indoors、Field の複数の飛行シーケンスで長期的な精度を VIO と比較して向上させ、短期的には RIO と比較して優れる。
• レーダーの径速更新は、点が少なくても堅牢な速度情報を提供し、姿勢推定を補助する。
• オンラインのレーダー外部推定は、初期キャリブレーションが不完全な場合のドリフトを緩和し、正しい外部推定へ収束する。
• 暗所・霧など難しい照明・ obscurant 条件下でも、RadVIO は視覚のみの手法が失敗する場面やレーダーのみが苦戦する場面で局在化を維持する。
• この手法は室内外の飛行試験で、センサモダリティの変化にも対して耐性を示す。