[논문 리뷰] Hybrid, Frame and Event based Visual Inertial Odometry for Robust, Autonomous Navigation of Quadrotors

Antoni Rosinol Vidal, Henri Rebecq외 2명|arXiv (Cornell University)|2017. 09. 19.

Advanced Memory and Neural Computing참고 문헌 25인용 수 5

한 줄 요약

이 논문은 이벤트 카메라, 표준 강도 프레임, 관성 측정치를 융합하여 다루기 어려운 저속 운동 조건에서의 이벤트 카메라의 한계를 보완하고 고속 또는 극단적인 조도 조건에서 표준 카메라의 한계를 극복하는, 밀접하게 결합된 하이브리드 시각-관성 온도메트리 시스템을 제안한다. 이 방법은 이벤트 전용 시스템 대비 130% 높은 정확도와 프레임 전용 시스템 대비 85% 높은 정확도를 달성하여, 저조도 및 고다이나믹 레인지 환경에서 이벤트 카메라만을 사용하는 최초의 자율 비행을 가능하게 한다.

ABSTRACT

Event cameras are bio-inspired vision sensors that output pixel-level brightness changes instead of standard intensity frames. These cameras do not suffer from motion blur and have a very high dynamic range, which enables them to provide reliable visual information during high speed motions or in scenes characterized by high dynamic range. However, event cameras output only little information when the amount of motion is limited, such as in the case of almost still motion. Conversely, standard cameras provide instant and rich information about the environment most of the time (in low-speed and good lighting scenarios), but they fail severely in case of fast motions, or difficult lighting such as high dynamic range or low light scenes. In this paper, we present the first state estimation pipeline that leverages the complementary advantages of these two sensors by fusing in a tightly-coupled manner events, standard frames, and inertial measurements. We show on the publicly available Event Camera Dataset that our hybrid pipeline leads to an accuracy improvement of 130% over event-only pipelines, and 85% over standard-frames-only visual-inertial systems, while still being computationally tractable. Furthermore, we use our pipeline to demonstrate - to the best of our knowledge - the first autonomous quadrotor flight using an event camera for state estimation, unlocking flight scenarios that were not reachable with traditional visual-inertial odometry, such as low-light environments and high-dynamic range scenes.

연구 동기 및 목표

• 저속 운동 조건에서의 이벤트 카메라의 한계와 고속 또는 극단적인 조도 조건에서의 표준 카메라의 한계를 해결한다.
• 이벤트 기반 시각과 프레임 기반 시각 간의 상충 관계를 극복하기 위해 상호 보완적인 강점을 융합한다.
• 이벤트, 표준 프레임, 관성 측정치를 통합하여 개선된 상태 추정을 위한 밀착된 융합 파이프라인을 개발한다.
• 저조도 및 고다이나믹 레인지 환경에서 이벤트 카메라 기반 상태 추정에만 의존하는 최초의 자율 큼보로터 비행을 입증한다.

제안 방법

• 이벤트, 표준 강도 프레임, 관성 측정치를 동시에 최적화하는 밀착된 상태 추정 파이프라인을 설계한다.
• 이벤트 기반 운동 통합을 통해 최소한의 운동 왜곡과 높은 다이나믹 레인지로 고속 운동을 캡처한다.
• 저속, 잘 비추는 조건에서 풍부한 즉각적인 환경 정보를 제공하기 위해 표준 프레임을 통합한다.
• 시각 데이터와 관성 측정치를 융합하여 어려운 운동 및 조도 조건에서의 강성과 정확도를 향상시킨다.
• 모든 세 가지 센서 모odal리티를 사용하여 자세, 속도, 바이어스 상태를 동시에 추정하는 공동 최적화 프레임워크를 구현한다.
• 이벤트와 프레임의 상호 보완적인 시간적 및 공간적 특성을 활용하여 전체 시스템의 내구성을 향상시킨다.

실험 결과

연구 질문

• RQ1 이벤트, 표준 프레임, 관성 측정치의 밀착된 융합이 단일 모달리티 시스템에 비해 상태 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 기존의 시각-관성 온도메트리가 실패하는 저조도 또는 고다이나믹 레인지 장면과 같은 극한 조건에서 하이브리드 시스템의 성능은 어떠한가?
• RQ3 이벤트 카메라만으로도 이전에는 표준 시각-관성 시스템이 접근하지 못했던 시나리오에서 자율 큼보로터 비행을 얼마나 잘 수행할 수 있는가?
• RQ4 이벤트 및 프레임 데이터의 융합이 고속 주행 중 드리프트를 감소시키고 강성을 향상시키는가?

주요 결과

• 하이브리드 파이프라인은 이벤트 카메라 데이터셋에서 이벤트 전용 시각-관성 온도메트리 대비 상태 추정 정확도를 130% 향상시켰다.
• 동일한 조건에서 표준 프레임 전용 시각-관성 시스템 대비 85% 높은 정확도를 달성했다.
• 세 가지 고대역폭 센서 모달리티의 융합에도 불구하고 계산적으로 타당한 성능 유지를 하였다.
• 제안된 시스템은 이벤트 카메라만을 사용하여 상태 추정을 수행하는 최초의 자율 큼보로터 비행을 가능하게 하였다.
• 기존의 시각-관성 온도메트리가 실패하는 저조도 및 고다이나믹 레인지 환경에서도 성공적으로 항로를 탐색하였다.
• 이벤트, 프레임, 관성 데이터의 밀착된 융합은 다양한 운동 및 조도 조건에서 뛰어난 강성과 정확도를 제공한다.