[논문 리뷰] VR-SLAM: A Visual-Range Simultaneous Localization and Mapping System using Monocular Camera and Ultra-wideband Sensors

Thien Hoang Nguyen, Shenghai Yuan외 1명|arXiv (Cornell University)|2023. 03. 20.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

이 논문은 단일 카메라와 초광대역(Ultra-wideband, UWB) 센서 융합 시스템인 VR-SLAM을 제안한다. 이 시스템은 메트릭 스케일, 드리프트 없음, 글로벌 일관성을 확보하는 동시에 동시에 위치 추정 및 맵핑을 가능하게 한다. UWB 보조 초기화, 견고한 결합된 번들 조정, 자세 그래프 최적화를 통해 시스템은 추적 실패 상황에서도 뛰어난 정확도와 강건성을 확보하며, 루프 클로징에 의존하지 않고 장기적인 드리프트를 제거한다.

ABSTRACT

In this work, we propose a simultaneous localization and mapping (SLAM) system using a monocular camera and Ultra-wideband (UWB) sensors. Our system, referred to as VRSLAM, is a multi-stage framework that leverages the strengths and compensates for the weaknesses of each sensor. Firstly, we introduce a UWB-aided 7 degree-of-freedom (scale factor, 3D position, and 3D orientation) global alignment module to initialize the visual odometry (VO) system in the world frame defined by the UWB anchors. This module loosely fuses up-to-scale VO and ranging data using either a quadratically constrained quadratic programming (QCQP) or nonlinear least squares (NLS) algorithm based on whether a good initial guess is available. Secondly, we provide an accompanied theoretical analysis that includes the derivation and interpretation of the Fisher Information Matrix (FIM) and its determinant. Thirdly, we present UWBaided bundle adjustment (UBA) and UWB-aided pose graph optimization (UPGO) modules to improve short-term odometry accuracy, reduce long-term drift as well as correct any alignment and scale errors. Extensive simulations and experiments show that our solution outperforms UWB/camera-only and previous approaches, can quickly recover from tracking failure without relying on visual relocalization, and can effortlessly obtain a global map even if there are no loop closures.

연구 동기 및 목표

• 실내 환경 및 GPS가 제공되지 않는 환경에서 정확하고 드리프트 없는, 글로벌 일관성 있는 위치 추정을 달성하는 데 도전한다.
• 스케일 모호성과 드리프트 등의 문제로 인해 제한되는 단일 카메라 시각 오도메트리의 한계를 UWB 거리 측정 데이터 통합을 통해 극복한다.
• 시각 추적 실패 상황에서 시각적 재정렬 또는 루프 클로징에 의존하지 않고도 복구할 수 있는 강건한 시스템을 개발한다.
• 루프 클로저가 없더라도 글로벌 맵 일관성과 다중 세션 맵 병합을 가능하게 한다.
• 피셔 정보 행렬(Fisher Information Matrix, FIM) 분석과 크래머-라오 하한(Cramér-Rao Lower Bound, CRLB) 유도를 통해 글로벌 애핀 변환(GAT) 문제의 이론적 기반을 제공한다.

제안 방법

• UWB로 정의된 세계 좌표계에서 시각 오도메트리의 초기화를 위해 7-자유도의 전역 정렬 모듈을 도입하며, 이는 제곱형 제약 조건이 있는 제곱형 프로그래밍(QCQP) 또는 비선형 최소 제곱(NLS)을 사용한다.
• 글로벌 애핀 변환(GAT) 문제의 크래머-라오 하한(CRLB)을 분석하기 위해 피셔 정보 행렬(FIM)과 그 행렬식을 기반으로 한 이론적 프레임워크를 제시한다.
• 시각 및 거리 측정치를 견고하게 융합하기 위해 UWB 보조 번들 조정(UBA)과 UWB 보조 자세 그래프 최적화(UPGO)를 적용함으로써 드리프트 감소 및 스케일, 정렬 오차 보정을 달성한다.
• 다단계 프레임워크를 적용한다: (1) UWB와 시각 오도메트리의 느슨한 융합을 통한 초기화, (2) 견고한 결합된 시각-거리 오도메트리, (3) 실패 복구를 위한 UWB 보조 재정렬.
• 로테이션 행렬 매개변수화와 단위 벡터 분해를 사용해 FIM에 대한 분석적 기울기를 유도함으로써 정확한 불확실성 정량화를 가능하게 한다.
• 다양한 수의 UWB 앤커를 갖춘 공개 및 자가 수집 데이터셋을 활용해 시뮬레이션과 실제 실험을 통해 시스템을 검증한다.

실험 결과

연구 질문

• RQ1 어떻게 UWB 거리 측정 데이터를 단일 시각 오도메트리와 효과적으로 융합하여 메트릭 스케일, 드리프트 없는, 글로벌 일관성 있는 SLAM을 달성할 수 있는가?
• RQ2 시각-거리 SLAM에서 글로벌 애핀 변환(GAT) 문제의 이론적 성능 한계(CRLB)는 무엇이며, 이를 시스템의 불확실성 평가에 어떻게 활용할 수 있는가?
• RQ3 시각 및 UWB 측정치를 견고하게 융합하면 단일 시스템 대비 장기적인 드리프트 감소 및 스케일, 정렬 오차 보정에 더 효과적인가?
• RQ4 시각 재정렬 또는 루프 클로저 없이 시스템이 시각 추적 실패 상황에서 얼마나 잘 복구할 수 있는가?
• RQ5 선로상(LoS) UWB 앤커의 수가 장기적인 드리프트와 정확도에 어떤 영향을 미치는가?

주요 결과

• VR-SLAM은 국소화 정확도와 드리프트 감소 측면에서 UWB 전용 및 카메라 전용 SLAM 시스템보다 뚜렷이 뛰어난 성능을 보인다.
• 두 개 이상의 UWB 앤커(¯N = 2 또는 3)가 선로상에 있을 경우, 시스템은 임무 전반에 걸쳐 낮은 변위 드리프트를 유지하며 효과적인 장기적 안정성을 입증한다.
• 단일 UWB 앤커(¯N = 1) 상황에서는 드리프트 감소 효과가 있지만, 오차를 크게 보정하기 위해 시각 루프 클로저에 의존함을 확인하여 앤커 수의 중요성을 강조한다.
• UWB 보조 재정렬 덕분에 시각 재정렬에 의존하지 않고도 추적 실패 상황에서 신속하게 세계 좌표계로 재초기화할 수 있는 능력을 확보했다.
• 루프 클로저가 없더라도 UWB 기반의 초기화 및 최적화로 인해 글로벌 일관성이 확보되어 다중 세션 맵 병합이 가능함을 입증했다.
• 이론적 FIM 및 CRLB 분석을 통해 특이한 구성 상태를 파악하고 스케일, 위치, 자세의 불확실성을 정량화함으로써 시스템의 강건성과 설계 제약 조건에 대한 통찰을 제공한다.