[논문 리뷰] LIC-Fusion: LiDAR-Inertial-Camera Odometry

Xingxing Zuo, Patrick Geneva외 3명|arXiv (Cornell University)|2019. 09. 09.

Robotics and Sensor-Based Localization참고 문헌 17인용 수 10

한 줄 요약

이 논문은 MSCKF 프레임워크 내에서 IMU 데이터, 희소 시각적 특징, LiDAR 에지/평면 특징을 융합하는 고밀도로 결합된, 단일 스레드 기반의 LiDAR-자이로스코프-카메라 온도메트리 시스템인 LIC-Fusion을 제안한다. 온라인 공간 및 시간 보정과 선형화된 오차 모델링을 통한 최적의 다중 모odal 융합을 통해 MSCKF 대비 평균 궤적 오차를 62% 감소시키고 LOAM 대비 83% 감소시켜 뛰어난 정확성과 강건성을 달성한다.

ABSTRACT

This paper presents a tightly-coupled multi-sensor fusion algorithm termed LiDAR-inertial-camera fusion (LIC-Fusion), which efficiently fuses IMU measurements, sparse visual features, and extracted LiDAR points. In particular, the proposed LIC-Fusion performs online spatial and temporal sensor calibration between all three asynchronous sensors, in order to compensate for possible calibration variations. The key contribution is the optimal (up to linearization errors) multi-modal sensor fusion of detected and tracked sparse edge/surf feature points from LiDAR scans within an efficient MSCKF-based framework, alongside sparse visual feature observations and IMU readings. We perform extensive experiments in both indoor and outdoor environments, showing that the proposed LIC-Fusion outperforms the state-of-the-art visual-inertial odometry (VIO) and LiDAR odometry methods in terms of estimation accuracy and robustness to aggressive motions.

연구 동기 및 목표

• 저조도 또는 동적인 조건에서 시각-자이로스코프 온도메트리(VIO)의 한계를 보완하기 위해 강력한 LiDAR 측정치를 통합한다.
• 기존 LiDAR와 IMU 융합에서 발생하는 드리프트 및 校정 오차에 대한 민감성을 해소하기 위해 온라인 공간 및 시간 보정을 가능하게 한다.
• 루프 클로징이나 글로벌 매핑에 의존하지 않고, 세 센서의 장점을 최대한 활용하는 계산 효율성이 높고 단일 스레드 기반의 고밀도 융합 프레임워크를 개발한다.
• 희소 LiDAR 특징(에지 및 평면)을 시각 및 자이로스코프 데이터와 최적의 융합을 통해 급격한 운동 및 도전적인 조명 조건 하에서도 추정 정확성과 강건성을 향상시킨다.
• 온라인 보정을 통한 캘리브레이션 민감도 감소와 센서 정렬 간소화를 통해 다중 센서 시스템의 실용적 구현을 가능하게 한다.

제안 방법

• IMU 측정치, 단안 영상에서 유도된 희소 시각적 특징, 희소 LiDAR 에지/평면 특징을 효율적으로 융합하기 위해 다중 상태 제약 칼만 필터(MSCKF) 프레임워크를 사용한다.
• IMU 상태, IMU–카메라 및 IMU–LiDAR 간 온라인 추정 외부 캘리브레이션 파라미터, 과거 IMU 클론의 슬라이딩 윈도우를 포함하는 상태 벡터를 도입한다.
• 분석적으로 유도된 오차 전파를 통해 캘리브레이션 외부 매개변수 및 자세 추정치가 센서 측정치에 미치는 영향을 모델링함으로써 최적(선형화까지)의 융합을 가능하게 한다.
• 국소 평면 피팅 및 에지 검출 방법을 사용해 LiDAR 포인트 클라우드에서 희소 에지 및 평면 특징을 검출하고 추적함으로써 특징의 안정성과 정확도를 향상시킨다.
• 세 개의 비동기 센서 간 온라인 공간 및 시간 보정을 수행하여 운영 중에 발생하는 오차 보정 및 시계 오차를 보완한다.
• 원시 측정치를 하나의 추정 프레임워크에서 공동 최적화하는 고밀도 융합 전략을 적용함으로써 교차 센서 상관관계를 유지한다.

실험 결과

연구 질문

• RQ1 LiDAR, 자이로스코프, 시각 데이터를 융합하는 고밀도로 결합된 단일 스레드 기반 융합 프레임워크가 느슨한 융합 또는 순차적 파이프라인보다 더 높은 정확성과 강건성을 달성할 수 있는가?
• RQ2 비동기적인 LiDAR, IMU, 카메라 센서 간의 온라인 공간 및 시간 보정이 동적인 환경 및 저조도 조건에서 추정 성능에 어떤 영향을 미치는가?
• RQ3 희소 LiDAR 특징(에지 및 평면)을 사용할 경우, 단순히 시각 또는 IMU 데이터에 의존하는 것에 비해 운동 추정 정확도는 어느 정도 향상되는가?
• RQ4 기존 VIO 시스템이 실패하는 급격한 운동 프로파일 하에서 본 방법은 어떻게 성능을 발휘하는가?
• RQ5 세 가지 상호보완적인 감지 모odal리티의 융합이 최신 기술의 LiDAR 또는 시각-자이로스코프 온도메트리 시스템에 비해 궤적 드리프트를 어떻게 크게 감소시키는가?

주요 결과

• RTK GPS 기준값이 있는 800미터 외부 시퀀스에서 LIC-Fusion은 평균 절대 궤적 오차(ATE) 4.06미터를 기록했으며, MSCKF(10.75m) 대비 62.2% 감소하고 LOAM(23.08m) 대비 82.4% 감소시켰다.
• 급격한 운동이 발생하는 실내 시퀀스(예: Indoor-C)에서 LIC-Fusion은 시작-종료 오차 1.55미터를 기록했고, MSCKF는 49.94미터로 실패했으며 LOAM는 2.44미터를 기록하여 고역동성 조건에서 뛰어난 강건성을 입증했다.
• 모든 외부 궤적 주행 동안 LIC-Fusion의 평균 제곱오차(MSE)는 MSCKF 및 LOAM보다 일관되게 낮게 유지되었으며, 4분 주행 동안 MSCKF 대비 평균 오차 2.5미터 감소를 기록했다.
• 저조도 실내 시퀀스(예: Indoor-B 및 Indoor-D)에서 LIC-Fusion은 각각 1.04미터 및 3.68미터의 서브미터 정확도를 유지했으며, MSCKF 및 LOAM를 압도해 낮은 조도 조건에 대한 내성을 입증했다.
• 궤적 시각화 및 MSE 플롯을 통해 시스템의 드리프트 증가 속도가 MSCKF 및 LOAM보다 현저히 둔한 것으로 나타나 장기적인 안정성을 보였다.
• 온라인 공간 및 시간 보정 메커니즘이 초기 오정렬에 대한 민감도를 효과적으로 감소시켜 사전 캘리브레이션 없이도 신뢰할 수 있는 운영을 가능하게 했다.