[논문 리뷰] VIRAL-Fusion: A Visual-Inertial-Ranging-Lidar Sensor Fusion Approach

Thien‐Minh Nguyen, Shenghai Yuan외 4명|arXiv (Cornell University)|2020. 10. 23.

Robotics and Sensor-Based Localization참고 문헌 33인용 수 7

한 줄 요약

이 논문은 시각-자이로스코프 오도메트리, 라이다, 초광대역(UWB) 거리 측정, 관성 측정 장치(IMU)를 통합하여 드리프트 없는 고정밀 드론 위치 추정을 달성하는 최적화 기반 센서 융합 프레임워크인 VIRAL-Fusion을 제안한다. UWB 거리 측정에서 유도된 결합된 위치, 자세, 속도 제약 조건과 IMU 사전통합을 활용함으로써, 최소한의 인프라로 장기적인 경로 일관성을 확보하며 실제 테스트에서 이동 오차를 0.4m RMSE 이하로 감소시킨다.

ABSTRACT

In recent years, Onboard Self Localization (OSL) methods based on cameras or Lidar have achieved many significant progresses. However, some issues such as estimation drift and feature-dependence still remain inherent limitations. On the other hand, infrastructure-based methods can generally overcome these issues, but at the expense of some installation cost. This poses an interesting problem of how to effectively combine these methods, so as to achieve localization with long-term consistency as well as flexibility compared to any single method. To this end, we propose a comprehensive optimization-based estimator for 15-dimensional state of an Unmanned Aerial Vehicle (UAV), fusing data from an extensive set of sensors: inertial measurement units (IMUs), Ultra-Wideband (UWB) ranging sensors, and multiple onboard Visual-Inertial and Lidar odometry subsystems. In essence, a sliding window is used to formulate a sequence of robot poses, where relative rotational and translational constraints between these poses are observed in the IMU preintegration and OSL observations, while orientation and position are coupled in body-offset UWB range observations. An optimization-based approach is developed to estimate the trajectory of the robot in this sliding window. We evaluate the performance of the proposed scheme in multiple scenarios, including experiments on public datasets, high-fidelity graphical-physical simulator, and field-collected data from UAV flight tests. The result demonstrates that our integrated localization method can effectively resolve the drift issue, while incurring minimal installation requirements.

연구 동기 및 목표

• 카메라와 라이다를 사용하는 차량 내 자가위치추정(осl) 시스템에 내재된 장기적인 추정 드리프트와 프레임 왜곡 문제를 해결하기 위해.
• 비용이 많이 들지 않고 환경에 대한 사전 지식 없이도 글로벌 일관성을 유지하는 유연하고 저비용의 위치 추정 솔루션을 개발하기 위해.
• UWB 거리 측정과 바디 오프셋 위치 설정, 자세 결합을 통해 동시에 위치와 자세의 드리프트를 보정하기 위해.
• 고주기 IMU 데이터를 OSL 및 UWB 측정치와 동기화된 최적화 기반 추정기로 융합하여 15차원 상태 추정을 완전히 수행하기 위해.
• 실제 드론 비행, 시뮬레이션, 공개 데이터셋을 통해 시스템의 강인성과 정확성을 검증하기 위해.

제안 방법

• 드라이브 시간에 걸쳐 UAV의 전체 15차원 상태(위치, 자세, 속도)를 추정하기 위해 슬라이딩 윈도우 최적화 프레임워크를 사용한다.
• 이격된 자세 간 상대 운동을 모델링하고 바이어스 보정을 수행하기 위해 IMU 사전통합을 통합한다.
• UWB 거리 측정치를 바디 오프셋 구성과 융합하여 위치 및 자세 추정치를 동시에 연결한다.
• 시각-자이로스코프 및 라이다 오도메트리 시스템에서 유도된 상대 자세 제약 조건을 슬라이딩 윈도우 내에서 일관성을 유지하기 위해 구성한다.
• 고주기 IMU 데이터를 저주기 시각 및 라이다 측정치와 정렬하기 위해 최신 VIO 시스템에서 영감을 얻은 동기화 기법을 활용한다.
• 모든 센서 측정치를 조합한 비용 함수의 온-매니폴드 최적화를 수행하기 위해 ROS 프레임워크 내부의 Ceres Solver를 활용한다.

실험 결과

연구 질문

• RQ1 통합 최적화 프레임워크가 시각-자이로스코프, 라이다, UWB 거리 측정 데이터를 효과적으로 융합하여 드론 위치 추정의 장기적 드리프트를 보정할 수 있는가?
• RQ2 UWB 거리 측정치와 자세를 결합함으로써 위치 및 자세 추정치의 일관성이 어떻게 향상되는가?
• RQ3 최소한의 UWB 앤커 배치(최소 3개)로도 사전 지도 지식 없이 글로벌 일관성 있는 위치 추정을 가능하게 할 수 있는가?
• RQ4 다양한 환경와 운동 프로파일에서 단독 OSL 시스템과 비교해 볼 때 제안된 융합 기법의 정확성과 강인성은 어떠한가?
• RQ5 실시간 드론 환경에서 센서 동기화 및 바이어스 모델링이 전체 추정 성능에 미치는 영향은 어떠한가?

주요 결과

• VIRAL-Fusion 시스템은 실제 테스트 데이터셋 #03에서 이동 오차를 0.1692m로 감소시켜 VINS-Fusion(2.4057m)과 LOAM(12.1921m)을 크게 앞서간다.
• 자세 추정 오차는 2.7682°로 제한되며, 동일한 데이터셋에서 VINS-Fusion(10.1036°)과 LOAM(11.5245°)보다 훨씬 우수하다.
• 착륙 중 신호 차단으로 인한 UWB 이상치를 효과적으로 거부하여 실제 환경 조건에서도 강인함을 입증했다.
• 지속적인 지도 지식 상실 상황에서도 VIRAL 방법은 오차가 유한하게 유지되는 반면, OSL 방법은 시간이 지남에 따라 심한 드리프트를 보였다.
• 현장에 설치된 단지 3개의 UWB 앤커만으로도 사전 지도 지식 없이 글로벌 일관성 있는 위치 추정이 가능하며, 설치 노력도 최소화되었다.
• 바디 오프셋 UWB 구성은 위치와 자세를 효과적으로 결합하여 추가 센서 없이도 양쪽 차원의 드리프트를 방지했다.