[논문 리뷰] FAST-LIVO: Fast and Tightly-coupled Sparse-Direct LiDAR-Inertial-Visual Odometry

Chunran Zheng, Qingyan Zhu외 4명|arXiv (Cornell University)|2022. 03. 02.

Robotics and Sensor-Based Localization인용 수 7

한 줄 요약

FAST-LIVO는 직접적인 사진광학적 정렬을 통해 LiDAR로 구축한 점군 지도에서 투영된 영상 패치와 직접적인 원점 등록을 통합하여 자세를 공동 최적화하는 빠르고 타이트하게 결합된 스파ARSE-직접적 LiDAR-자이로스코픽-시각적 오도메트리 시스템을 제안한다. 이는 무늬가 없는 벽, LiDAR 성능이 떨어지는 환경, 급격한 운동 등의 도전적인 환경에서도 최신 기술 수준의 정확도와 강건성을 달성하며, Intel와 ARM 플랫폼에서 실시간으로 작동하며 프레임당 평균 처리 시간이 36.75 ms이다.

ABSTRACT

To achieve accurate and robust pose estimation in Simultaneous Localization and Mapping (SLAM) task, multi-sensor fusion is proven to be an effective solution and thus provides great potential in robotic applications. This paper proposes FAST-LIVO, a fast LiDAR-Inertial-Visual Odometry system, which builds on two tightly-coupled and direct odometry subsystems: a VIO subsystem and a LIO subsystem. The LIO subsystem registers raw points (instead of feature points on e.g., edges or planes) of a new scan to an incrementally-built point cloud map. The map points are additionally attached with image patches, which are then used in the VIO subsystem to align a new image by minimizing the direct photometric errors without extracting any visual features (e.g., ORB or FAST corner features). To further improve the VIO robustness and accuracy, a novel outlier rejection method is proposed to reject unstable map points that lie on edges or are occluded in the image view. Experiments on both open data sequences and our customized device data are conducted. The results show our proposed system outperforms other counterparts and can handle challenging environments at reduced computation cost. The system supports both multi-line spinning LiDARs and emerging solid-state LiDARs with completely different scanning patterns, and can run in real-time on both Intel and ARM processors. We open source our code and dataset of this work on Github to benefit the robotics community.

연구 동기 및 목표

• 무늬나 구조가 없는 환경에서 단일 센서 SLAM의 한계를 해결하기 위해 LiDAR, IMU, 시각 데이터를 융합한다.
• 시각 오도메트리에서 특징 추출 및 매칭을 제거함으로써 다중 센서 융합 SLAM의 계산 비용을 감소시킨다.
• LiDAR 성능이 떨어지는 환경이나 시각적 무늬가 없는 벽과 같은 도전적인 시나리오에서의 강건성과 정확도를 향상시킨다.
• 고성능 및 임베디드 프로세서(이상 및 ARM)에서 실시간으로 작동할 수 있도록 하며, 스피닝 및 솔리드 스테이트 LiDAR를 모두 지원한다.
• 상태 추정만을 융합하는 것이 아니라 측정 수준에서 LiDAR와 시각 측정을 타이트하게 결합하는 타이트하게 결합된 융합 프레임워크를 개발한다.

제안 방법

• 점-평면 잔차를 사용하여 원시 LiDAR 점들을 점차적으로 구축된 점군 지도에 직접적으로 정렬하는 LiDAR-자이로스코픽 오도메트리(LIO) 서브시스템을 구축한다.
• LIO 서브시스템에서 유도된 지도 점들에 영상 패치를 부착하고, 이를 새로운 카메라 프레임으로 투영하여 시각-자이로스코픽 오도메트리(VIO) 서브시스템에서 직접적인 사진광학적 정렬을 수행한다.
• 특징 추출(예: ORB, FAST 등)을 회피하기 위해 투영된 영상 패치와 현재 프레임 픽셀 간의 사진광학 오차를 최소화하는 스파ARSE-직접적 시각 정렬을 수행한다.
• 특히 시야에서 가로질러지거나 가려진 곳의 지도 점들처럼 불안정한 지도 점들을 식별하고 제거하는 새로운 이상치 거부 방법을 도입하여 VIO의 강건성을 향상시킨다.
• 오차 상태 반복 칼만 필터(ESIKF) 내에서 LiDAR, 시각, IMU 측정치를 융합하여 타이트하게 결합된 상태 추정을 가능하게 한다.
• 다양한 스캐닝 패턴을 가진 다중선 스피닝 LiDAR와 솔리드 스테이트 LiDAR를 동일한 처리 파이프라인을 통해 지원한다.

실험 결과

연구 질문

• RQ1 도전적인 환경에서 기존의 LIVO 시스템보다 더 높은 정확도와 강건성을 달성하기 위해 타이트하게 결합된 스파ARSE-직접적 LiDAR, 시각, 자이로스코픽 데이터 융합이 가능한가?
• RQ2 LiDAR 지도에서 사전에 투영된 영상 패치를 사용한 직접적인 사진광학적 정렬은 얼마나 많은 시각적 특징 추출 및 매칭의 필요성을 제거할 수 있는가?
• RQ3 제안된 이상치 거부 방법은 막힘 또는 가장자리에 위치한 지도 점들이 있는 환경에서 VIO 성능을 어떻게 향상시키는가?
• RQ4 다양한 LiDAR 유형을 지원하면서도 고성능(Intel) 및 임베디드(ARM) 플랫폼에서 실시간 성능을 유지할 수 있는가?
• RQ5 무늬가 없는 벽, LiDAR 성능이 떨어지는 환경, 급격한 운동 등의 극단적 상황에서 시스템의 성능은 어떠한가?

주요 결과

• LiDAR 성능이 떨어지는 환경에서 긴 무늬 없는 벽을 통과하는 동안 FAST-LIVO는 종합적인 드리프트가 0.05 m로 가장 낮게 기록하여 FAST-LIO2와 SVO2.0을 모두 압도했다.
• 실내-실외 전환, 급격한 운동, 무늬가 없는 흰 벽이 포함된 매우 도전적인 시각적 시퀀스에서, FAST-LIVO는 79.52m 거리 동안 종합 오차가 단지 0.04m에 그쳤다.
• 데스크톱 Intel i7-10700U에서 평균 처리 시간이 36.75ms로 실시간 성능을 달성했으며, LIO+VIO 프론트엔드에서 45.16ms를 소요하는 R2LIVE보다 훨씬 빠르게 작동했다.
• Qualcomm Kryo585 CPU를 탑재한 임베디드 RB5 플랫폼에서 프레임당 총 처리 시간이 13.82ms를 기록하여 ARM 프로세서에서도 뛰어난 효율성을 입증했다.
• HKU 캠퍼스 환경의 고밀도, 실시간, RGB 색상이 있는 3차원 지도를 성공적으로 재구성했으며, 확대된 시각에서 세밀한 시각적 세부 사항을 확인할 수 있었다.
• VIO 서브시스템은 Intel에서 평균 10.23ms, ARM에서 13.82ms를 기록했고, LIO 서브시스템은 각각 26.52ms와 51.51ms를 소비하여 다양한 플랫폼에서 뛰어난 확장성을 보였다.