[논문 리뷰] VIRAL SLAM: Tightly Coupled Camera-IMU-UWB-Lidar SLAM

Thien‐Minh Nguyen, Shenghai Yuan외 3명|arXiv (Cornell University)|2021. 05. 07.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 27

한 줄 요약

VIRAL SLAM은 IMU, 스테레오 카메라, 다중 라이더, 그리고 UWB 거리 측정을 융합한 tightly-coupled SLAM 프레임워크를 제시합니다. 두 단계 접근 방식으로 지역 슬라이딩 윈도우 오도메트리, 글로벌 포즈 그래프 최적화, 루프 클로저, 그리고 UWB 앵커를 onboard SLAM 프레임과 정렬하기 위한 BA를 사용합니다.

ABSTRACT

In this paper, we propose a tightly-coupled, multi-modal simultaneous localization and mapping (SLAM) framework, integrating an extensive set of sensors: IMU, cameras, multiple lidars, and Ultra-wideband (UWB) range measurements, hence referred to as VIRAL (visual-inertial-ranging-lidar) SLAM. To achieve such a comprehensive sensor fusion system, one has to tackle several challenges such as data synchronization, multi-threading programming, bundle adjustment (BA), and conflicting coordinate frames between UWB and the onboard sensors, so as to ensure real-time localization and smooth updates in the state estimates. To this end, we propose a two stage approach. In the first stage, lidar, camera, and IMU data on a local sliding window are processed in a core odometry thread. From this local graph, new key frames are evaluated for admission to a global map. Visual feature-based loop closure is also performed to supplement the global factor graph with loop constraints. When the global factor graph satisfies a condition on spatial diversity, the BA process will be triggered to update the coordinate transform between UWB and onboard SLAM systems. The system then seamlessly transitions to the second stage where all sensors are tightly integrated in the odometry thread. The capability of our system is demonstrated via several experiments on high-fidelity graphical-physical simulation and public datasets.

연구 동기 및 목표

• 상호 보완 센싱 모듈(IMU, 카메라, 라이다, UWB)을 결합하여 강인하고 실시간 현지화를 목표로 한다.
• 센서 간 좌표 프레임 및 동기화를 해결하여 강 tightly fusion을 가능하게 한다.
• 로컬 오도메트리와 글로벌 최적화를 포함하는 두 단계 프레임워크를 개발하며 루프 클로저 및 BA를 포함한다.
• 라이다로 도출된 맵을 활용한 시각 특징의 맵-매칭 마지널라이제이션 스킴을 도입한다.
• 실세계 및 시뮬레이션 데이터셋에서 정확도와 강인성을 입증한다.

제안 방법

• 슬라이딩 윈도우에서 로컬 오도메트리 스레드와 전역 BA 스레드를 운영하는 두 단계 VIRAL 프레임워크.
• 마지널라이즈된 키 프레임을 저장하고 L-W 변환 및 UWB 거리 보정치를 추정하는 글로벌 포즈 그래프.
• joint 최적화를 위한 다중 센서 비용 함수로 IMU, 라이다, UWB, 시각 관측을 강건한 손실 함수와 함께 윈도우에 적용합니다.
• MMM(맵-매칭 마지널라이제이션)을 통해 시각 특징을 로컬 라이다 기반 맵에 마지널라이즈합니다.
• UWB 통합은 앵커 좌표 추정(월드 프레임 W)과 로봇 상태 최적화를 분리하고 BA에서 이를 업데이트합니다.
• 다중 센서 관측(IMU, 라이다, UWB, 시각 관측)을 강건한 손실 함수로 포함하는 슬라이딩 윈도우상의 공동 최적화를 수행합니다.

실험 결과

연구 질문

• RQ1 IMU, 스테레오 카메라, 라이다, UWB 거리 측정이 실시간 SLAM 시스템에서 어떻게 밀접하게 통합될 수 있는가?
• RQ2 ,
• RQ3 },
• RQ4 table_headers: []
• RQ5 table_rows: []

주요 결과

• 실시간 IMU, 카메라, 라이다, UWB 융합으로 강 tightly-coupled 현지화를 시연합니다.
• 적절한 공간 다양성이 충분히 확보된 이후 BA에서 UWB 앵커 변환을 정제하는 두 단계 프로세스를 도입합니다.
• 시각 장소 인식을 통한 루프 클로저와 이후 두 단계의 포인트 클라우드 정렬로 글로벌 일관성을 강화합니다.
• 로컬 최적화 중에는 고정된 상태를 유지하고 BA 스레드로 앵커 추정과 측정 오차를 분리하는 강건한 UWB 융합 전략을 제안하여 수렴을 돕습니다.
• NTU VIRAL 데이터셋, 건물-검사 데이터셋, Ground-truth가 있는 AirSim에서 평가하여 저대상질감 및 도전적 상황에서의 강인성을 보여줍니다.