[논문 리뷰] Event-based, 6-DOF Camera Tracking for High-Speed Applications.

Guillermo Gallego, Jon E. A. Lund외 4명|arXiv (Cornell University)|2016. 07. 12.

CCD and CMOS Imaging Sensors참고 문헌 18인용 수 23

한 줄 요약

이 논문은 실시간으로 개별 이벤트를 처리하여 마이크로초 수준의 지연으로 자가 운동을 추정하는 최초의 이벤트 기반 6-DOF 카메라 추적 방법을 제시한다. 비동기적 이벤트 스트림을 활용함으로써 자연스러운 실내 및 실외 환경에서 고속, 저지연 자세 추정을 가능하게 하여 기존의 프레임 기반 방법의 한계를 극복한다.

ABSTRACT

In contrast to standard cameras, which produce frames at a fixed rate, event cameras respond asynchronously to pixel-level brightness changes, thus enabling the design of new algorithms for high-speed applications with latencies of microseconds. However, this advantage comes at a cost: because the output is composed by a sequence of events, traditional computer-vision algorithms are not applicable, so that a new paradigm shift is needed. We present an event-based approach for ego-motion estimation, which provides pose updates upon the arrival of each event, thus virtually eliminating latency. Our method is the first work addressing and demonstrating event-based pose tracking in six degrees-of-freedom (DOF) motions in realistic and natural scenes, and it is able to track high-speed motions. The method is successfully evaluated in both indoor and outdoor scenes.

연구 동기 및 목표

• 운동 블러와 고정된 프레임 레이트로 인해 기존의 프레임 기반 방법이 실패하는 고속 시나리오에서 실시간, 저지연 자가 운동 추정을 가능하게 하기 위해.
• 컴퓨터 비전 알고리즘을 이벤트 카메라 데이터에 적용하는 데 도전하는 것 — 기존의 동기화된 프레임이 아닌 비동기적이고 희소한 이벤트 스트림을 생성하기 때문이다.
• 각 이벤트 도착 시마다 자세 업데이트를 수행하는 방법을 개발하여 지연을 최소화하고 고속으로 움직이는 카메라의 추적을 가능하게 하기 위해.
• 이벤트 기반 센싱을 사용하여 실제적이고 자연스러운 환경에서 6-DOF 운동 추적을 구현하는 것 — 이는 이전까지 달성되지 못한 능력이다.

제안 방법

• 모든 도착 이벤트를 개별적으로 처리하며, 시간에 연속적인 공식을 사용하여 프레임 누적에 의존하지 않고 카메라 운동을 추정한다.
• 이벤트를 시간에 걸쳐 통합하여 고시간 해상도로 6-DOF 자세를 추정하는 요소 그래프 최적화 프레임워크를 활용한다.
• 각 픽셀에서의 강도 변화를 운동의 함수로 모델링하고, 이러한 변화를 시간에 걸쳐 통합하여 운동 추정을 계산한다.
• 계산 부담을 줄이면서도 고시간 해상도와 정확도를 유지하기 위해 희소 이벤트 표현을 사용한다.
• 이벤트 도착 시마다 점진적으로 자세 업데이트를 계산하여 거의 즉각적인 반응과 마이크로초 수준의 지연을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실제 환경에서 마이크로초 수준 지연으로 이벤트 기반 6-DOF 카메라 추적을 달성할 수 있는가?
• RQ2 고속 운동 시나리오에서 이벤트 기반 운동 추정은 프레임 기반 방법에 비해 어떻게 성능을 발휘하는가?
• RQ3 제안된 방법은 고정된 프레임 처리에 의존하지 않고도 복잡한 자연 환경의 운동을 추적할 수 있는가?
• RQ4 이 방법은 실내 및 실외 고속 조건에서 정확도와 강인성은 어느 정도인가?

주요 결과

• 이 방법은 마이크로초 수준 지연으로 실시간으로 이벤트 단위로 6-DOF 자세 추정을 수행하여, 기존의 프레임 기반 시스템에 비해 지연을 크게 감소시킨다.
• 실내 및 실외 환경에서 고속 운동을 성공적으로 추적하며 자연스러운 환경에서의 강인성을 입증한다.
• 운동 블러와 프레임 레이트 제한으로 성능이 저하되는 고속 운동 시나리오에서는 기존의 프레임 기반 방법보다 성능이 뛰어나다.
• 이벤트 카메라의 비동기적이고 고시간 해상도의 특성을 활용함으로써 높은 정확도를 유지한다.