[논문 리뷰] R2LIVE: A Robust, Real-time, LiDAR-Inertial-Visual tightly-coupled state Estimator and mapping

Jiarong Lin, Chunran Zheng외 2명|arXiv (Cornell University)|2021. 02. 24.

Robotics and Sensor-Based Localization참고 문헌 26인용 수 9

한 줄 요약

R2LIVE는 실시간으로 작동하는 고밀도 결합 LiDAR-자이로스코픽-시각 상태 추정기로, 실시간 오odomentry와 요소 그래프 최적화를 통해 지ap 개선을 위한 LiDAR, IMU, 카메라 센서 데이터를 융합한다. 300m 시퀀스에서 회전 오차가 0.3° 이하, 이동 오차가 0.25% 이하로 나타나, 기능이 부족하거나 동적인 환경 및 대규모 환경에서 높은 정확도와 강건성을 입증한다.

ABSTRACT

In this letter, we propose a robust, real-time tightly-coupled multi-sensor fusion framework, which fuses measurement from LiDAR, inertial sensor, and visual camera to achieve robust and accurate state estimation. Our proposed framework is composed of two parts: the filter-based odometry and factor graph optimization. To guarantee real-time performance, we estimate the state within the framework of error-state iterated Kalman-filter, and further improve the overall precision with our factor graph optimization. Taking advantage of measurement from all individual sensors, our algorithm is robust enough to various visual failure, LiDAR-degenerated scenarios, and is able to run in real-time on an on-board computation platform, as shown by extensive experiments conducted in indoor, outdoor, and mixed environment of different scale. Moreover, the results show that our proposed framework can improve the accuracy of state-of-the-art LiDAR-inertial or visual-inertial odometry. To share our findings and to make contributions to the community, we open source our codes on our Github.

연구 동기 및 목표

• 특징이 부족하거나 열악한 환경(예: 좁은 턨널, 저지형 영역)에서 LiDAR 단독 SLAM의 한계를 해결하기 위해.
• LiDAR, 자이로스코픽 센서, 시각 카메라의 측정치를 밀접하게 융합하여 상태 추정의 강건성과 정확도를 향상시키기 위해.
• 고정밀 국소화 및 지도 작성 성능을 유지하면서 임베디드 플랫폼에서 실시간 성능을 달성하기 위해.
• 명시적인 루프 클로징 메커니즘 없이도 최소한의 드리프트로 대규모 밀도 높은 3D 지도를 구축하기 위해.

제안 방법

• 시스템은 실시간 상태 추정을 위해 고속 오차 상태 반복 칼만 필터(ESIKF)를 사용하여 LiDAR, 자이로스코픽, 시각 측정치를 밀접하게 결합한다.
• 별도의 저속도 요소 그래프 최적화가 로컬 지도를 향상시키기 위해 슬라이딩 윈도우 내에서 关键 프레임 자세와 시각 랜드마크 위치를 최적화한다.
• LiDAR-자이로스코픽 오도메트리 구성 요소는 상태 차원에 비례하는 복잡도로 감소하는 새로운 칼만 이득 계산 방식을 사용한다.
• 시각 특징은 시각-자이로스코픽 오도메트리 모듈을 통해 추출되고 추적되며, 이는 ESIKF 프레임워크 내에서 LiDAR 및 IMU 데이터와 밀접하게 결합된다.
• 시스템은 LiDAR에서 유도된 기하학적 특징(모서리, 평면)과 흩어진 시각 특징을 모두 활용하여 센서 장애나 운동 도전 상황에서도 강건성을 향상시킨다.
• 요소 그래프 최적화는 별도의 스레드에서 실행되어 주 필터보다 낮은 주기로 작동할 수 있도록 하여 정확도와 계산 부담 간의 균형을 이룬다.

Figure 1: We use our proposed method to reconstruct a high precision, large scale, indoor-outdoor, dense 3D maps of the main building of the University of Hong Kong (HKU). The green path is the computed trajectory and the 3D points are colored by height.

실험 결과

연구 질문

• RQ1 LiDAR, 자이로스코픽, 시각 센서를 밀접하게 융합함으로써 기하학적 특징이 부족하거나 센서 성능이 저하되는 환경에서 강건성이 크게 향상될 수 있는가?
• RQ2 오차 상태 반복 칼만 필터링 기반의 오도메트리 시스템이 임베디드 플랫폼에서 고정밀 성능을 유지하면서도 실시간 성능을 유지를 할 수 있는가?
• RQ3 복잡한 동적 환경과 이동하는 물체가 있는 대규모 실내외 환경에서 시스템 성능은 어떠한가?
• RQ4 명시적인 루프 클로징 탐지 또는 후처리 없이도 루프 클로징과 정확한 지도 작성 성능을 달성할 수 있는가?
• RQ5 공격적인 운동과 센서 장애 상황에서 최신 기술의 LiDAR-자이로스코픽 또는 시각-자이로스코픽 시스템 대비 국소화 정확도 향상 정도는 얼마나 되는가?

주요 결과

• 고속 운동(최대 130°/s 각속도)을 포함한 300m 외부 경로에서 R2LIVE는 중앙상대자세오차 0.27°(회전) 및 0.21%(이동)를 기록하여 Vins-Mono 및 Fast-LIO를 능가했다.
• 시스템은 홍콩대 메인 빌딩(실내 및 실외 포함)의 고밀도 고정밀 3D 지도를 성공적으로 재구성했으며, 포인트 클라우드가 공식 도로 지도와 밀접하게 일치했다.
• 명시적인 루프 클로징 처리 없이도 876미터 이동 후 루프를 닫아 장기 운영에서 극도로 낮은 드리프트를 입증했다.
• 데스크톱(인텔 i7-9700K) 및 임베디드 플랫폼(인텔 i7-8550U)에서 실시간 성능을 달성했으며, 평균 오도메트리 처리 시간은 각각 15.98ms 및 24.37ms였다.
• 이동 중 보행자 및 제한된 LiDAR 시야각을 가진 턨널 유사 환경에서도 시스템은 강력하고 안정적으로 유지되었으며, 시각 및 LiDAR 도전 상황에도 정확한 상태 추정을 유지했다.
• 요소 그래프 최적화가 지도 정확도를 크게 향상시켰으며, 위성 영상과의 더 나은 정렬 및 장시간 시퀀스에서의 궤적 드리프트 감소로 이를 입증했다.

Figure 2: The overview of our proposed method.