[논문 리뷰] xVIO: A Range-Visual-Inertial Odometry Framework

Jeff Delaune, David S. Bayard외 1명|arXiv (Cornell University)|2020. 10. 13.

Robotics and Sensor-Based Localization참고 문헌 13인용 수 6

한 줄 요약

xVIO는 캐리어(비디오 또는 열화상 적외선) 카메라, 자이로스코프, 시간 간격 거리 측정 센서의 데이터를 융합하여 자율 항공기 비행을 위한 실시간 범위-시각-자이로스코프 오도메트리 프레임워크로, 제트 propulsion laboratory(JPL)에서 개발되었다. 이는 엄밀한 관측 가능성 분석과 야코비안 도출을 포함한 하이브리드 SLAM-MSCKF 확장된 칼만 필터를 사용하며, 표준 하드웨어에서 30Hz로 작동하여 주간/야간, 실내/실외, 비행/손으로 들고 다니는 조건에서 뛰어난 성능을 발휘한다.

ABSTRACT

xVIO is a range-visual-inertial odometry algorithm implemented at JPL. It has been demonstrated with closed-loop controls on-board unmanned rotorcraft equipped with off-the-shelf embedded computers and sensors. It can operate at daytime with visible-spectrum cameras, or at night time using thermal infrared cameras. This report is a complete technical description of xVIO. It includes an overview of the system architecture, the implementation of the navigation filter, along with the derivations of the Jacobian matrices which are not already published in the literature.

연구 동기 및 목표

• 다양한 환경, 즉 주간/야간 운영 조건에서도 강건하고 실시간으로 상태 추정을 수행할 수 있는 자율 항공기 비행을 위한 과제 해결.
• 깊이 추정 향상과 시각-자이로스코프 오도메트리의 드리프트 감소를 위해 거리 센서 측정치를 시각적 및 자이로스코프 데이터와 융합.
• 표준 하드웨어 센서와 임베디드 시스템을 사용하는 유연하고 모듈러한 프레임워크를 개발하여 VIO, 범위-VIO, 자이로스코프 오도메트리 모드 지원.
• 관측 가능성 행렬을 도출하고 분석하여 일정 가속도 및 동적 운동 조건에서도 상태 추정의 관측 가능성과 안정성 확보.
• EKF 프레임워크에서 정확한 오차 전파를 위해 시각 및 범위-시각 측정치의 야코비안 행렬을 완전히 도출함.

제안 방법

• 정확도와 계산 효율성을 향상시키기 위해 SLAM과 MSCKF의 장점을 융합한 하이브리드 SLAM-MSCKF 기반의 시각 측정치 구성 방식 사용.
• 슬라이딩 윈도우를 적용한 확장된 칼만 필터(xEKF)를 사용하여 상태 추정을 수행하며, 연속 시간 동역학을 기반으로 위치, 속도, 자세, IMU 오프셋 상태를 전파.
• 실시간 운영에서 센서 및 처리 지연을 관리하기 위해 레이어드 버퍼를 적용하여 IMU, 시각 및 거리 측정치 간의 동기화 보장.
• FAST를 통한 특징 검출, Lucas-Kanade를 통한 추적, 기본 행렬 추정을 통한 RANSAC 기반의 이상치 제거를 통해 특징 매칭을 기반으로 시각 측정치 구성.
• 시각적 특징과 깊이 데이터를 융합하여 상태 추정을 제약하고 관측 가능성을 향상시키는 범위-시각 업데이트 모델을 통해 거리 측정치 통합.
• 시각 및 범위-시각 측정치의 전체 야코비안 행렬을 폐쇄형으로 도출하며, 세계 기준, 카메라 기준, 특징 기준 간의 변환을 포함하고, 부록에서 상세한 도출 과정 제공.

실험 결과

연구 질문

• RQ1 어떻게 거리 센서 데이터를 시각적 및 자이로스코프 데이터와 효과적으로 융합하여 시각-자이로스코프 오도메트리의 정확성과 강건성을 향상시킬 수 있는가?
• RQ2 시각적 특징이 부족하거나 운동이 제한된 상황에서 거리 측정치를 추가했을 때 상태 추정의 관측 가능성에 어떤 영향을 미치는가?
• RQ3 EKF 프레임워크에서 정확한 오차 전파를 확보하기 위해 시각 및 범위-시각 측정치의 야코비안 행렬은 어떻게 도출되어야 하는가?
• RQ4 하이브리드 SLAM-MSCKF 접근 방식은 임베디드 플랫폼에서 자율 항공기 비행을 위한 실시간으로 효율적으로 구현될 수 있는가?
• RQ5 플랫폼가 일정 가속도나 운동 자극이 제한된 조건에서 상태 추정이 관측 가능한가?

주요 결과

• xVIO는 표준 하드웨어(예: Qualcomm Snapdragon Flight Pro)에서 30Hz로 실시간 성능을 달성하여 자율 항공기 비행의 피드백 제어를 가능하게 함.
• 주간(가시광선 카메라) 및 야간(장파장 적외선 카메라) 조건 모두에서 성공적으로 작동하여 조명 조건에 관계없이 강건성을 입증함.
• 관측 가능성 분석 결과, 일정 가속도 조건에서도 시스템이 관측 가능하며, 관측 불가능한 방향은 SLAM 특징의 깊이 모호성과 관련된 것으로 규명됨.
• 시각 및 범위-시각 측정치의 야코비안 행렬은 수학적으로 엄밀하며, 폐쇄형 도출을 통해 검증되어 정확한 오차 공분산 전파 보장.
• 하이브리드 SLAM-MSCKF 접근 방식은 특히 시각적 특징이 희박하거나 운동이 제한된 경우에 드리프트가 감소한 정확한 상태 추정 가능.
• 범위-시각 업데이트 모델은 깊이 추정을 크게 향상시키고, 특히 시각적 오도메트리가 실패하는 저문 텍스처 또는 동적 환경에서 드리프트 감소 효과를 보임.