[논문 리뷰] PIVO: Probabilistic Inertial-Visual Odometry for Occlusion-Robust Navigation

Arno Solin, Santiago Cortés외 2명|arXiv (Cornell University)|2017. 08. 02.

Robotics and Sensor-Based Localization참고 문헌 41인용 수 38

한 줄 요약

PIVO는 순차적이고 불확실성 인식 프레임워크를 통해 관성측정단위(IMU)와 단안 카메라 데이터를 완전히 통합함으로써 표준 스마트폰에서 강건하고 차폐 내성인 항법을 가능하게 하는 확률적 관성-시각 온도미터 시스템을 제안한다. 교차공분산을 유지하고 시각 업데이트에서 특징 불확실성을 고려한 IMU 기반 역학 모델을 활용함으로써, PIVO는 장기간의 카메라 차폐 동안에도 정확하고 메트릭 스케일의 추적을 달성한다.

ABSTRACT

This paper presents a novel method for visual-inertial odometry. The method is based on an information fusion framework employing low-cost IMU sensors and the monocular camera in a standard smartphone. We formulate a sequential inference scheme, where the IMU drives the dynamical model and the camera frames are used in coupling trailing sequences of augmented poses. The novelty in the model is in taking into account all the cross-terms in the updates, thus propagating the inter-connected uncertainties throughout the model. Stronger coupling between the inertial and visual data sources leads to robustness against occlusion and feature-poor environments. We demonstrate results on data collected with an iPhone and provide comparisons against the Tango device and using the EuRoC data set.

연구 동기 및 목표

• 장기간의 카메라 차폐 동안 정확한 추적을 유지할 수 있는 강건한 시각-관성 온도미터 시스템을 개발하는 것.
• 저비용 스마트폰 센서를 사용하여 특징이 적거나 차폐된 환경에서 카메라 중심 온도미터의 한계를 극복하는 것.
• 외부 센서나 루프 클로징에 의존하지 않고 표준 모바일 하드웨어에서 메트릭 스케일, 드리프트 없는 추적을 가능하게 하는 것.
• 자기상태 간 교차공분산을 유지하는 순차적 추론 프레임워크를 제안하여 최적의 불확실성 전파를 달성하는 것.
• 아이폰 6와 같은 소비자용 기기에서 실시간 성능과 강건성을 입증하는 것.

제안 방법

• 선형화 오차 이외의 오차 원인을 최소화하는 이산 시간 IMU 전파 모델을 제안한다.
• 현재 및 과거 자세 간 교차공분산을 유지하면서 뒤따르는 자세를 보완하기 위해 일련의 선형 칼만 업데이트를 적용한다.
• 추정된 특징점 좌표를 통합하는 시각 업데이트 단계를 도입하여 EKF 프레임워크 내에서의 근사 오차를 선형화 오차로만 제한한다.
• IMU가 역학 모델을 주도하고 시각 프레임이 증강된 자세 시퀀스를 연결하는 데 사용되는 순차적 추론 체계를 적용한다.
• 모든 교차항을 업데이트 방정식에 처리하는 확률적 공식화를 적용하여 일阶 EKF 기준 최적의 불확실성 전파를 보장한다.
• 시간에 따라 선형적으로 증가하는 계산 복잡도를 확보하여 모바일 하드웨어에서 실시간 운영이 가능하도록 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 확률적 관성-시각 온도미터 시스템이 스마트폰 센서만을 사용하여 장기간의 카메라 차폐 동안에도 강건한 추적을 달성할 수 있는가?
• RQ2 자세 간 전체 교차공분산 전파가 특징이 적거나 차폐된 환경에서 강건성을 어떻게 향상시킬 수 있는가?
• RQ3 순차적 추론 프레임워크에서 단안 시각과 함께 저비용 IMU를 조합할 경우, 얼마나 신뢰할 수 있는 메트릭 스케일 추적을 제공할 수 있는가?
• RQ4 단지 IMU와 단안 카메라 데이터에 의존하는 시스템이 어려운 실세계 상황에서 카메라 중심 온도미터를 능가할 수 있는가?
• RQ5 자세 상태 간의 불확실성을 유지할 경우, 공분산을 忽시하는 방법과 비교해 성능에 어떤 영향을 미치는가?

주요 결과

• PIVO는 도시 및 실내 환경을 통과하는 300미터 경로 동안 아이폰 6에서 정확하고 메트릭 스케일의 궤적 추정을 달성한다. 이 과정에서 카메라의 완전한 차폐가 발생한 바 있다.
• 카메라가 가방에 가려지거나 군중 속에서 가림을 당하는 등 장기간의 차폐 동안에도 일관된 스케일과 낮은 드리프트를 유지한다.
• 기준 테스트 결과, 맥북 랩탑에서 40프레임 트랙에 대해 평균 0.079초, 20프레임 트랙에 대해 평균 0.0052초가 소요되어 실시간 실행 가능성을 입증한다.
• PIVO는 빠른 운동, 낮은 무늬, 좁은 시야각 등의 어려운 조건에서 ORB-SLAM2와 같은 카메라 중심 방법보다 뛰어난 성능을 보였다.
• 롤링 셔터, 조도 변화, 특징 부족에 대한 강건성을 입증했으며, 궤적 정렬 결과 도로 지도와 강력한 일치를 보였다.
• 특수 깊이 센서나 외부 캘리브레이션을 요구하지 않는 표준 스마트폰 하드웨어만으로 탄지(Tango) 기기 수준의 성능을 달성했다.