[논문 리뷰] LVI-SAM: Tightly-coupled Lidar-Visual-Inertial Odometry via Smoothing and Mapping

Tixiao Shan, Brendan Englot외 2명|ArXiv.org|2021. 04. 22.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 29

한 줄 요약

LVI-SAM은 두 개의 상호 작용하는 하위 시스템(VIS와 LIS)이 정보를 공유하고, 견고한 초기화를 가능하게 하며, 루프 클로저를 가능하게 하고, 하나의 하위 시스템이 실패하더라도 기능을 유지하는 인자 그래프 위에 구축된 밀접하게 결합된 LVIO 프레임워크를 제시합니다. 이는 실시간 상태 추정 및 매핑을 위한 것입니다.

ABSTRACT

We propose a framework for tightly-coupled lidar-visual-inertial odometry via smoothing and mapping, LVI-SAM, that achieves real-time state estimation and map-building with high accuracy and robustness. LVI-SAM is built atop a factor graph and is composed of two sub-systems: a visual-inertial system (VIS) and a lidar-inertial system (LIS). The two sub-systems are designed in a tightly-coupled manner, in which the VIS leverages LIS estimation to facilitate initialization. The accuracy of the VIS is improved by extracting depth information for visual features using lidar measurements. In turn, the LIS utilizes VIS estimation for initial guesses to support scan-matching. Loop closures are first identified by the VIS and further refined by the LIS. LVI-SAM can also function when one of the two sub-systems fails, which increases its robustness in both texture-less and feature-less environments. LVI-SAM is extensively evaluated on datasets gathered from several platforms over a variety of scales and environments. Our implementation is available at https://git.io/lvi-sam

연구 동기 및 목표

• 시각-관성(visual-inertial)와 LiDAR-관성(lidar-inertial) 시스템을 인자 그래프 프레임워크에서 밀접하게 결합해 LiDAR-비전-관성 odometry의 강인성과 정확성을 향상시킨다.
• 견고한 초기화, LiDAR로부터의 특징 깊이 추정, 루프 클로저를 가능하게 하여 드리프트를 감소시킨다.
• 다른 하위 시스템이 실패하더라도 VIS 또는 LIS 중 하나가 독립적으로 작동할 수 있도록 하여 강인성을 제공한다.
• 다양한 데이터세트와 플랫폼에서 성능을 검증하여 LVIO에 대한 강력한 기준선을 확립한다.

제안 방법

• 두 개의 하위 시스템이 밀접하게 결합된 방식으로 작동: 시각-관성 시스템(VIS)과 LiDAR-관성 시스템(LIS).
• VIS는 시각 재투영 오차와 IMU 잔차를 최소화하고, 초기화 및 깊이 추정을 개선하기 위해 LiDAR로부터 특징 깊이를 얻을 수 있다.
• LIS는 이동 윈도우 특징 맵에 대해 LiDAR 특징 추출 및 스캔 매칭을 수행하고, IMU 사전통합 및 IMU와 VIS의 초기 추정치를 사용한다.
• 인자 그래프는 IMU 사전통합, 시각적 기하추정(visual odometry), LiDAR 기하추정(lidar odometry), 루프-클로저 제약을 집계하고, MAP 추정을 위해 iSAM2로 해결된다.
• 루프 클로저는 먼저 VIS에 의해 식별되고 LIS에 의해 정제되어 전역 최적화 및 드리프트 감소를 가능하게 한다.
• 다른 하위 시스템이 실패할 경우 VIS 또는 LIS 중 하나가 재초기화할 수 있도록 하는 실패 탐지를 통해 시스템의 강인성이 향상된다.

Figure 1: The system structure of LVI-SAM. The system, which receives input from a 3D lidar, a camera and an IMU, can be divided into two sub-systems: a visual-inertial system (VIS) and a lidar-inertial system (LIS). The VIS and LIS can function independently while using information from each other

실험 결과

연구 질문

• RQ1 두 개의 센서를 밀접하게 결합한 LVIO 프레임워크가 단일 센서 또는 느슨하게 결합된 접근법에 비해 강인성과 정확성을 향상시킬 수 있는가?
• RQ2 초기화, 깊이 추정, 루프 클로저를 어떻게 설계하여 텍스처가 부족하거나 악화된 환경에서도 견고하게 작동시킬 수 있는가?
• RQ3 요인 그래프 기반 최적화가 VIS, LIS, IMU, 루프-클로저 제약을 실시간 매핑에 어떻게 융합하는가?
• RQ4 다양한 플랫폼과 규모에서도 강한 정확도를 유지하면서 실시간 성능을 지속할 수 있는가?

주요 결과

• 제안된 프레임워크는 악조건의 환경에서도 강인성을 바탕으로 실시간 상태 추정 및 매핑을 달성한다.
• LiDAR를 통한 깊이 보강 시각 특징이 VIS 초기화와 전반적인 정확도를 향상시킨다.
• VIS를 통한 루프 클로저는 LIS에 의해 정제되어 전역 최적화 및 드리프트 감소를 가능하게 한다.
• 하나의 하위 시스템이 실패하더라도 VIS와 LIS는 독립적으로 작동할 수 있어 텍스처가 부족한 환경에서의 강인성이 증가한다.
• 다수의 데이터세트와 플랫폼에서의 광범위한 실험은 기존 LVIO/LIO 베이스라인 대비 경쟁력 있는 또는 우수한 정확도를 보여준다.

Figure 2: The framework of our visual-inertial system. The system optimizes residuals from IMU preintegration, visual measurements without depth, and visual measurements with depth.