[논문 리뷰] R$^3$LIVE++: A Robust, Real-time, Radiance reconstruction package with a tightly-coupled LiDAR-Inertial-Visual state Estimator

Jiarong Lin, Fu Zhang|arXiv (Cornell University)|2022. 09. 08.

Robotics and Sensor-Based Localization인용 수 13

한 줄 요약

R3LIVE++는 기하학적 정보를 위한 라이다와 광학적 정보를 위한 카메라를 융합함으로써 실시간으로 안정적인 상태 추정과 3D 라디안스 맵 재구성이 가능한 밀착된 라이다-자이로스코프-시각 SLAM 시스템을 제안한다. 이는 국소화 및 라디안스 재구성에서 최신 기술 수준의 정확도를 달성하며, 온라인 노출 시간 추정 기능을 통해 고역동범위(HDR) 영상 촬영과 도전적인 환경에서도 뛰어난 성능을 발휘한다.

ABSTRACT

Simultaneous localization and mapping (SLAM) are crucial for autonomous robots (e.g., self-driving cars, autonomous drones), 3D mapping systems, and AR/VR applications. This work proposed a novel LiDAR-inertial-visual fusion framework termed R$^3$LIVE++ to achieve robust and accurate state estimation while simultaneously reconstructing the radiance map on the fly. R$^3$LIVE++ consists of a LiDAR-inertial odometry (LIO) and a visual-inertial odometry (VIO), both running in real-time. The LIO subsystem utilizes the measurements from a LiDAR for reconstructing the geometric structure (i.e., the positions of 3D points), while the VIO subsystem simultaneously recovers the radiance information of the geometric structure from the input images. R$^3$LIVE++ is developed based on R$^3$LIVE and further improves the accuracy in localization and mapping by accounting for the camera photometric calibration (e.g., non-linear response function and lens vignetting) and the online estimation of camera exposure time. We conduct more extensive experiments on both public and our private datasets to compare our proposed system against other state-of-the-art SLAM systems. Quantitative and qualitative results show that our proposed system has significant improvements over others in both accuracy and robustness. In addition, to demonstrate the extendability of our work, {we developed several applications based on our reconstructed radiance maps, such as high dynamic range (HDR) imaging, virtual environment exploration, and 3D video gaming.} Lastly, to share our findings and make contributions to the community, we make our codes, hardware design, and dataset publicly available on our Github: github.com/hku-mars/r3live

연구 동기 및 목표

• 실시간으로 안정적인 SLAM 시스템을 개발하여 6-자유도 상태 추정과 고해상도 3D 라디안스 맵 재구성을 동시에 수행한다.
• 단일 라이다 SLAM의 무늬 부족 문제와 시각 SLAM의 조명 변화 및 무문자 환경에 대한 민감성 문제를 센서 융합을 통해 극복한다.
• 온라인으로 카메라 노출 시간을 추정하고 희소 픽셀에서의 광학 오차를 최소화하여 라디안스 재구성 정확도를 향상시킨다.
• 재구성된 맵을 활용해 HDR 영상 촬영, 가상 환경 탐색, 3D 게임 등 실용적 응용을 가능하게 한다.
• 커뮤니티의 활용과 재현 가능성을 촉진하기 위해 오픈소스 코드, 하드웨어 설계도 및 데이터셋을 공개한다.

제안 방법

• R3LIVE++는 실시간으로 작동하는 두 가지 하위시스템인 라이다-자이로스코프 온도메트리(LIO)와 시각-자이로스코프 온도메트리(VIO)를 밀착된 방식으로 융합한다. LIO는 기하학적 구조 재구성에 사용되고, VIO는 라디안스 복구에 사용된다.
• VIO 하위시스템은 렌더링된 맵 포인트와 희소 영상 픽셀 간의 라디안스 차이를 최소화하여 카메라 자세를 추정하고 드리프트를 감소시킨다.
• 광학 오차 최소화 기법을 통해 온라인으로 카메라 노출 시간을 추정함으로써 라디안스 정확도를 향상시키고 HDR 재구성도 가능하게 한다.
• 정확도와 계산 부담을 균형 있게 유지하기 위해 틀에서 맵 정렬과 희소 픽셀 추적을 사용한다.
• 캘리브레이션된 광학 모델을 사용해 이미지 색상 정보를 맵 내 3D 포인트에 투영함으로써 라디안스 맵을 점진적으로 구축한다.
• 오프라인 메시 생성 및 텍스처링은 CGAL과 openMVS를 활용한 데라운이 삼각분할 및 그래프 컷 기법을 사용하며, 일반적인 3D 포맷(PLY, OBJ, PCD)을 지원한다.

Figure 2: The overview of our proposed system.

실험 결과

연구 질문

• RQ1 밀착된 라이다-자이로스코프-시각 융합 아키텍처가 도전적인 조건에서도 실시간으로 정확한 상태 추정과 3D 라디안스 맵 재구성을 달성할 수 있는가?
• RQ2 고정 또는 사전 캘리브레이션된 노출 설정 대비 온라인 노출 시간 추정이 라디안스 재구성 정확도에 어떻게 기여하는가?
• RQ3 제안된 VIO 설계는 실시간 성능을 유지하면서 오도메트리 드리프트를 얼마나 줄이는가?
• RQ4 라이다 또는 시각 센서가 개별적으로 실패하는 상황(예: 무문자 벽, 저조도 환경)에서 R3LIVE++는 어떻게 성능을 유지하는가?
• RQ5 재구성된 라디안스 맵은 HDR 영상 촬영, VR/AR, 3D 게임 등 고해상도 응용 분야에서 충분히 지원할 수 있는가?

주요 결과

• NCLT 데이터셋에서 R3LIVE++는 25개 시퀀스 전반에 걸쳐 비교된 모든 최신 기술 수준의 SLAM 시스템 중 가장 높은 총합 정확도를 기록했다.
• 시스템은 라이다와 시각 SLAM이 일반적으로 실패하는 극단적인 상황, 예를 들어 단일 무문자 벽을 향해 주행하는 상황에서도 뛰어난 내구성을 보였다.
• 온라인으로 노출 시간을 추정함으로써 실제값 대비 라디안스 재구성 오차가 유의미하게 낮아졌다.
• 다른 노출 시간(1ms에서 10ms)으로 렌더링된 이미지를 융합하여 HDR 영상 촬영이 성공적으로 구현되었으며, 고품질의 HDR 출력을 생성했다.
• 재구성된 맵은 AirSim 내 자동차 시뮬레이터와 모바일 및 데스크톱 플랫폼용 3D 비디오 게임 등 고해상도 응용 분야를 지원했다.
• 시스템의 오픈소스 배포에는 GitHub에 코드, 하드웨어 설계도 및 데이터셋이 포함되어 있어 재현 가능성과 커뮤니티 기반 확장이 가능하다.

Figure 3: The image formation process of a color camera.