[논문 리뷰] R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package

Jiarong Lin, Fu Zhang|arXiv (Cornell University)|2021. 09. 10.

Advanced Vision and Imaging인용 수 41

한 줄 요약

R3 LIVE는 LIO와 VIO 서브시스템을 융합하여 실시간으로 강 tightly-coupled LiDAR–Inertial–Visual SLAM 및 매핑 시스템을 구현하고, RGB 색상이 입혀진 조밀한 3D 맵을 생성하며 오픈 소스이다.

ABSTRACT

In this letter, we propose a novel LiDAR-Inertial-Visual sensor fusion framework termed R3LIVE, which takes advantage of measurement of LiDAR, inertial, and visual sensors to achieve robust and accurate state estimation. R3LIVE is contained of two subsystems, the LiDAR-inertial odometry (LIO) and visual-inertial odometry (VIO). The LIO subsystem (FAST-LIO) takes advantage of the measurement from LiDAR and inertial sensors and builds the geometry structure of (i.e. the position of 3D points) global maps. The VIO subsystem utilizes the data of visual-inertial sensors and renders the map's texture (i.e. the color of 3D points). More specifically, the VIO subsystem fuses the visual data directly and effectively by minimizing the frame-to-map photometric error. The developed system R3LIVE is developed based on our previous work R2LIVE, with careful architecture design and implementation. Experiment results show that the resultant system achieves more robustness and higher accuracy in state estimation than current counterparts (see our attached video). R3LIVE is a versatile and well-engineered system toward various possible applications, which can not only serve as a SLAM system for real-time robotic applications, but can also reconstruct the dense, precise, RGB-colored 3D maps for applications like surveying and mapping. Moreover, to make R3LIVE more extensible, we develop a series of offline utilities for reconstructing and texturing meshes, which further minimizes the gap between R3LIVE and various of 3D applications such as simulators, video games and etc (see our demos video). To share our findings and make contributions to the community, we open source R3LIVE on our Github, including all of our codes, software utilities, and the mechanical design of our device.

연구 동기 및 목표

• LiDAR, 관성 및 시각 데이터를 촘촘히 융합하여 실시간 상태 추정과 밀집한 3D 맵 재구성을 향상시키는 것.
• 지오메트릭 맵 위에 RGB 텍스처를 렌더링하되 두드러진 시각 특징에 의존하지 않는 것.
• 색 기반 광도 제약을 통해 질감이 없거나 제약된 환경에서 로버스트함을 강화하는 것.
• 메시 텍스처링을 위한 오프라인 도구를 갖춘 오픈 소스이면서 확장 가능한 프레임워크를 제공하는 것.

제안 방법

• 두 개의 서브시스템: LiDAR-Inertial Odometry (LIO)은 오차 상태 반복 칼만 필터 (ESIKF) 및 점-면 잔차를 통해 글로벌 기하 맵을 구축한다.
• Visual-Inertial Odometry (VIO)는 맵 포인트의 RGB 색상을 사용해 프레임-대-프레임 PnP와 프레임-대-맵 광도 오차를 최소화해 맵 텍스처를 렌더링한다.
• 고정 크기의 보셀(voxel)과 포즈, 색상, 공분산 정보를 가진 포인트를 저장해 맵을 표현한다.
• 관찰된 이미지 색상으로부터 베이지안 색상 융합을 통해 맵 포인트의 텍스처 렌더링한다.
• 이중 단계 VIO 업데이트: (i) 광류를 사용한 프레임-대-프레임 PnP 및 (ii) 프레임-대-맵 광도 오차 최소화, 그 다음 색상 렌더링 및 맵 업데이트.
• 색상화된 점군으로부터 메시 재구성 및 텍스처링 오프라인 유틸리티; 실시간 동작과 낮은 드리프트를 목표로 설계된 시스템.

실험 결과

연구 질문

• RQ1 촉촘한 RGB 색상 맵을 제공하면서도 실시간 성능을 유지하는 촘촘하게 결합된 LiDAR–Inertial–Visual 프레임워크가 가능한가?
• RQ2 VIO에서 색 정보를 직접 활용하는 것이 질감이 없거나 도전적인 환경에서 강인함을 개선하는가?
• RQ3 실내외 환경에서 긴 궤적에 대해 어느 수준의 자세 드리프트와 매핑 정확도가 달성되는가?
• RQ4 시뮬레이터 및 3D 응용에 적합한 텍스처링된 메시를 산출하기 위해 오프라인 도구로 시스템을 확장할 수 있는가?

주요 결과

• R3 LIVE는 실시간으로 밀집하고 RGB 색상으로 입혀진 3D 맵 재구성을 낮은 드리프트로 달성한다(최대 1.5 km에서 평행이동 0.16 m, 회전 3.9°).
• 프레임-대-맵 광도 VIO 업데이트는 맵 포인트 색상을 사용해 두드러진 시각 특징에 의존하지 않고도 로버스트한 자세 추정을 이끈다.
• LiDAR 결손 및 질감이 없는 벽을 통한 강인성 테스트에서 시스템은 회전 1.62°, 평행이동 4.57 cm의 드리프트를 보였다.
• 대규모 실내/실외 시퀀스에 대한 실험 결과는 작은 드리프트로 높은 정밀 매핑을 보여주며, R3 LIVE의 궤적은 실제 값(RTK) 데이터와 밀접하게 정렬되고 루프 닫힘 동작을 시연한다.
• 저자들은 GitHub에 오픈소스 코드, 문서 및 오프라인 메시 텍스처링 도구를 제공한다.