[논문 리뷰] Tightly-Coupled Radar-Visual-Inertial Odometry

M. Nissov, Mohit Singh외 1명|arXiv (Cornell University)|2026. 03. 24.

Robotics and Sensor-Based Localization인용 수 0

한 줄 요약

이 논문은 이미지 특징, 레이더 도플러, IMU 데이터를 IEKF로 융합하는 밀착 결합된 레이더-비주얼-관성 오도메트리 시스템 RadVIO를 제시하며, 레이더가 이미지 깊이 초기화를 보조하고 실내/실외 비행에서 평가되었습니다.

ABSTRACT

Visual-Inertial Odometry (VIO) is a staple for reliable state estimation on constrained and lightweight platforms due to its versatility and demonstrated performance. However, pertinent challenges regarding robust operation in dark, low-texture, obscured environments complicate the use of such methods. Alternatively, Frequency Modulated Continuous Wave (FMCW) radars, and by extension Radar-Inertial Odometry (RIO), offer robustness to these visual challenges, albeit at the cost of reduced information density and worse long-term accuracy. To address these limitations, this work combines the two in a tightly coupled manner, enabling the resulting method to operate robustly regardless of environmental conditions or trajectory dynamics. The proposed method fuses image features, radar Doppler measurements, and Inertial Measurement Unit (IMU) measurements within an Iterated Extended Kalman Filter (IEKF) in real-time, with radar range data augmenting the visual feature depth initialization. The method is evaluated through flight experiments conducted in both indoor and outdoor environments, as well as through challenges to both exteroceptive modalities (such as darkness, fog, or fast flight), thoroughly demonstrating its robustness. The implementation of the proposed method is available at: https://github.com/ntnu-arl/radvio.

연구 동기 및 목표

• FMCW 레이더를 활용하여 어둡고 텍스처가 낮으며 가려진 조건에서 비주얼-관성 오도메트리의 견고성을 향상시키는 것.
• 레이더와 카메라 외부 매개변수(Extrinsics)를 공동으로 추정하는 밀착 결합 융합 프레임워크를 개발한다.
• 희소 레이더 포인트 클라우드를 이용해 모노큘러 특징의 깊이 초기화를 가능하게 한다.
• 비행 실험을 통해 실시간 성능과 온라인 레이더-IMU extrinsic 보정(정교화)을 시연한다.

제안 방법

• Iterated Extended Kalman Filter (IEKF) 내에서 이미지 특징 측정값, 레이더 반경속도 측정값, 그리고 IMU 데이터를 융합한다.
• 슬라이딩 윈도우 레이더 보셀 맵에서 파생된 깊이 추정치를 사용하여 시각 특징 깊이 초기화를 보강한다.
• 상태를 로봇 중심 형식으로 표현하여 선형화 오차를 줄이고 장기적인 yaw 드리프트를 속도 추정으로부터 분리한다.
• 에고 속도(Ego-velocity)를 도플러(Doppler) 측정치와 연결하는 방사속도(radial-speed) 측정 함수를 사용해 레이더 업데이트를 모델링하고, IEKF 업데이트에 대한 해당 야코비안(Jacobian)을 도출한다.
• 레이더-IMU 및 레이더-카메라 변환에 대한 온라인 외부 매개변수 보정 기능을 제공하여 보정 오차로 인한 드리프트를 완화한다.

실험 결과

연구 질문

• RQ1 Can a tightly-coupled radar-visual-inertial fusion improve odometry robustness across illumination, texture, and obscurant conditions?
• RQ2 How can radar radial-speed measurements be integrated into an IEKF alongside visual features for real-time state estimation?
• RQ3 Does radar-based depth initialization from a sparse radar point cloud improve monocular feature depth initialization?
• RQ4 Is online radar-IMU and radar-camera extrinsic refinement beneficial for reducing drift in RadVIO?

주요 결과

• RadVIO improves long-term accuracy relative to VIO and short-term accuracy relative to RIO in several flight sequences (Forest, Indoors, Field).
• Radar radial-speed updates provide robust velocity information even with sparse radar points, aiding pose estimation.
• Online radar extrinsic refinement helps mitigate drift when initial calibrations are imperfect, converging to correct extrinsics.
• In challenging lighting and obscurant scenarios (darkness, fog), RadVIO maintains localization where vision-only methods fail and radar-only methods struggle.
• The approach demonstrates resilience across indoor and outdoor flight tests with varying sensor modalities.