[논문 리뷰] Super Odometry: IMU-centric LiDAR-Visual-Inertial Estimator for Challenging Environments

Shibo Zhao, Hengrui Zhang외 3명|arXiv (Cornell University)|2021. 04. 30.

Robotics and Sensor-Based Localization인용 수 11

한 줄 요약

Super Odometry는 턨널, 어두운 방, 먼지 날리는 조건과 같은 인지적 열악한 환경에서도 고정밀 실시간 상태 추정을 가능하게 하는 IMU 중심의 다중 모odal 센서 융합 프레임워크를 제안한다. 동적 옥트리 기반 스캔 매칭과 비동기 인수 그래프 최적화를 활용한 IMU 중심 파이프라인을 통해 높은 성능을 달성하였으며, LOAM, LIO-SAM, VINS보다 정확성과 실시간 효율성에서 뛰어난 성능을 보였다.

ABSTRACT

We propose Super Odometry, a high-precision multi-modal sensor fusion framework, providing a simple but effective way to fuse multiple sensors such as LiDAR, camera, and IMU sensors and achieve robust state estimation in perceptually-degraded environments. Different from traditional sensor-fusion methods, Super Odometry employs an IMU-centric data processing pipeline, which combines the advantages of loosely coupled methods with tightly coupled methods and recovers motion in a coarse-to-fine manner. The proposed framework is composed of three parts: IMU odometry, visual-inertial odometry, and laser-inertial odometry. The visual-inertial odometry and laser-inertial odometry provide the pose prior to constrain the IMU bias and receive the motion prediction from IMU odometry. To ensure high performance in real-time, we apply a dynamic octree that only consumes 10 % of the running time compared with a static KD-tree. The proposed system was deployed on drones and ground robots, as part of Team Explorer's effort to the DARPA Subterranean Challenge where the team won $1^{st}$ and $2^{nd}$ place in the Tunnel and Urban Circuits, respectively.

연구 동기 및 목표

• 터널, 어두운 방, 먼지 날리는 조건과 같은 인지적 열악한 환경에서 기존의 LiDAR 전용, 시각 전용, 또는 느슨하게 결합된 센서 융합 방법의 한계를 해결한다.
• 기존의 느슨하게 결합된 시스템에서의 프레임 간 추정의 취약성과 단일 고장점 리스크를 해결하기 위해 실패 방지 기능을 갖춘 슬라이딩 윈도우 최적화 프레임워크를 도입한다.
• 시각 및 LiDAR-자기관성 온도메트리에 의한 자기관성 오차 제약을 통해 특징이 적은 환경에서 LiDAR 의존도를 최소화함으로써 실시간 성능과 내구성을 향상시킨다.
• 엄격하게 결합된 방법의 정확성과 느슨하게 결합된 시스템의 내구성 및 모듈성을 결합한 확장 가능하고 확장 가능한 센서 융합 파이프라인을 개발한다.

제안 방법

• IMU 온도메트리가 고주기 운동 예측을 제공하고, 시각-자기관성 및 LiDAR-자기관성 온도메트리가 자기관성 오차를 제약하는 IMU 중심의 데이터 처리 파이프라인을 설계한다.
• 3차원 점군을 조직화하기 위해 동적 옥트리 데이터 구조를 구현하여, 정적 KD-트리에 비해 스캔 매칭 계산을 크게 줄이고 일정한 시간 내에 트리 업데이트를 가능하게 한다.
• 슬라이딩 윈도우 제약 조건을 적용한 인수 그래프 최적화를 통해 추정 오류로부터 실패 방지 복구 기능을 제공하고, 센서 장애나 이상치에 대한 내구성을 향상시킨다.
• 주성분 분석(PCA) 기반의 특징 품질 평가를 적용하여 저품질 특징을 걸러내고 노이즈를 제거함으로써 특징이 적거나 혼잡한 환경에서의 내구성을 향상시킨다.
• 각 하위 모듈의 고유 주파수에서 제약 조건을 캐시하고 소규모 배치로 처리하는 방식을 통해 비동기 센서 융합을 구현함으로써 실시간 성능을 향상시킨다.
• IMU, 카메라, LiDAR 등의 다양한 센서 모odal을 하이브리드 느슨-엄격하게 결합된 아키텍처를 통해 각 센서 유형의 강점을 최대한 활용한다.

실험 결과

연구 질문

• RQ1 인지적 열악한 환경에서 전통적인 느슨하거나 엄격하게 결합된 방법에 비해 IMU 중심 융합 파이프라인은 더 높은 정확성과 내구성을 달성할 수 있는가?
• RQ2 동적 옥트리가 기존의 KD-트리 구조에 비해 LiDAR-자기관성 온도메트리에서 실시간 성능을 어떻게 향상시키는가?
• RQ3 시각-자기관성 및 LiDAR-자기관성 온도메트리의 활용은 GPS가 없는 특징이 적은 환경에서 자기관성 오차 추정과 드리프트 감소에 얼마나 기여하는가?
• RQ4 제안된 시스템은 공격적인 운동, 저조도, 안개 및 먼지와 같은 공기 중 오염물질이 존재하는 조건에서도 고정밀 상태 추정을 유지할 수 있는가?
• RQ5 비동기 인수 그래프 기반 융합 아키텍처는 순차적 프레임 간 추정에 비해 개별 센서 고장에 대해 얼마나 더 내구성을 향상시키는가?

주요 결과

• 장거리 복도 시퀀스에서 Super Odometry는 이동 오차 RMSE가 0.055 m로, LOAM(4.15 m), LIO-SAM(0.85 m), VINS(5.83 m), VINS-Depth(2.58 m)보다 뚜렷이 뛰어난 성능을 보였다.
• 어두운 방 시퀀스에서 Super Odometry는 이동 오차 RMSE가 0.174 m로, LOAM(0.263 m), LIO-SAM(0.246 m), VINS(0.527 m), VINS-Depth(0.429 m)를 모두 뛰어넘었다.
• 먼지 날리는 환경에서 Super Odometry는 LiDAR 스캔을 평균 21 ms 내로 처리했으며, LIO-SAM의 102 ms 대비 5배 빠른 처리 시간을 기록하여 효율적인 동적 옥트리와 노이즈 필터링 덕분이었다.
• 동적 옥트리는 기존 KD-트리에서와 같이 프레임 수에 따라 지수적으로 증가하는 트리 구축 시간을 근접한 일정 시간으로 줄여, 고데이터율 상황에서도 실시간 성능을 유지를 가능하게 하였다.
• IMU 온도메트리에서 1000 Hz의 상태 추정을 달성하였고, DARPA 지하 하위구조 챌린지 알파 코스를 포함한 다양한 데이터셋에서 실시간 성능을 유지하였다.
• Super Odometry는 터널, 수직 샤프트, 장거리 복도와 같은 복잡한 인지적 열악한 환경을 고정밀도로 매핑하였으며, 다중 로봇 궤적 복원 및 시각적 비교를 통해 검증되었다.