[논문 리뷰] Event-based Camera Pose Tracking using a Generative Event Model

Guillermo Gallego, Christian Förster외 2명|arXiv (Cornell University)|2015. 10. 07.

Advanced Memory and Neural Computing참고 문헌 15인용 수 38

한 줄 요약

이 논문은 대비 잔여치 기반의 생성 모델을 사용하여 6-DOF 이벤트 기반 카메라 자세 추적을 위한 암묵적 확장 칼만 필터(EKF)를 제안한다. 이 방식은 물리적 센서 특성과 밝기 변화의 가우시안 유사 분포를 모델링함으로써, 대비 잔여치를 가능도 측정치로 사용하여 실시간으로 자세 추정치를 보정함으로써, 추가 센서나 데이터 연동 없이도 정확한 국부화를 가능하게 한다.

ABSTRACT

Event-based vision sensors mimic the operation of biological retina and they represent a major paradigm shift from traditional cameras. Instead of providing frames of intensity measurements synchronously, at artificially chosen rates, event-based cameras provide information on brightness changes asynchronously, when they occur. Such non-redundant pieces of information are called "events". These sensors overcome some of the limitations of traditional cameras (response time, bandwidth and dynamic range) but require new methods to deal with the data they output. We tackle the problem of event-based camera localization in a known environment, without additional sensing, using a probabilistic generative event model in a Bayesian filtering framework. Our main contribution is the design of the likelihood function used in the filter to process the observed events. Based on the physical characteristics of the sensor and on empirical evidence of the Gaussian-like distribution of spiked events with respect to the brightness change, we propose to use the contrast residual as a measure of how well the estimated pose of the event-based camera and the environment explain the observed events. The filter allows for localization in the general case of six degrees-of-freedom motions.

연구 동기 및 목표

• 추가 센서 없이 알려진 3차원 환경에서 이벤트 기반 카메라 국부화 문제를 해결하기 위해.
• 이벤트 스트림의 이질적이고 희소한 특성을 자연스럽게 처리할 수 있는 확률적 필터링 프레임워크를 개발하기 위해.
• 예측된 자세가 관측된 이벤트를 얼마나 잘 설명하는지 정확히 측정할 수 있는 가능도 함수를 설계하기 위해.
• 기하학적 및 광학적 정보를 포함한 밀도 있는 3D 지도와 이벤트 데이터만을 사용하여 강건한 6-DOF 자세 추적을 가능하게 하기 위해.
• 대비 잔여치를 활용하여 이벤트를 3D 시점과 암묵적으로 연결함으로써, 명시적 데이터 연동이 필요 없도록 하기 위해.

제안 방법

• 일정한 밝기 제약 조건과 시간적 지속성을 기반으로 한 생성 모델을 유도하여, 이벤트 생성을 局부 밝기 변화와 연결한다.
• 대비 잔여치를 핵심 측정 함수로 도입하며, 이는 이벤트 주변의 예측 대비와 관측 대비 간의 절대 차이로 정의된다.
• 이노베이션을 대비 잔여치를 사용하여 계산하는 암묵적 EKF 프레임워크를 활용하여, 이벤트 단위로 상태 업데이트를 수행한다.
• 주어진 자세 하에서 각 이벤트 위치에서 예상되는 대비를 예측하기 위해 기하학적 및 광학적 데이터를 포함한 밀도 있는 3D 지도를 활용한다.
• 이벤트 발생을 위한 임계값 $ C $ 는 경험적 데이터로부터 추정되며, 대비 분포의 최빈값을 사용하여 가능도 모델을 校정한다.
• 이벤트를 비동기적으로 처리하며, 프레임 기반 처리가 필요 없이 이노베이션과 그 공분산을 사용하여 상태 추정치를 업데이트한다.

실험 결과

연구 질문

• RQ1 동적 환경에서 DVS 센서의 물리적 거동을 정확히 반영할 수 있는 생성 모델은 어떻게 구성할 수 있는가?
• RQ2 베이지안 필터링 프레임워크에서 이벤트 기반 자세 추정을 위해 강력하고 효율적인 가능도 함수는 무엇인가?
• RQ3 대비 잔여치는 예측된 카메라 자세와 관측된 이벤트 간의 호환성을 평가하는 원리적이고 데이터 기반의 측정치로 기능할 수 있는가?
• RQ4 추가 센서 없이 이벤트 데이터와 밀도 있는 지도만을 사용하여 6-DOF 운동 추정에서 제안된 방법은 어떤 성능을 보이는가?
• RQ5 암묵적 EKF 접근법은 이벤트 기반 국부화에서 명시적 데이터 연동이 필요 없도록 하는 데 얼마나 효과적인가?

주요 결과

• 합성 데이터에서 일정 가속도 궤적 동안 알고리즘이 DVS 자세와 속도를 성공적으로 추정하였으며, 위치 및 속도의 상대 오차는 1% 이하였다.
• 실세계 실험에서 일정 속도 운동 조건에서 약 100,000개의 이벤트를 처리하였고, 안정적이고 정확한 자세 및 속도 추정을 달성하였다.
• 대비 잔여치는 경험적으로 신뢰할 수 있는 가능도 측정치로 검증되었으며, 절대 대비 분포가 가우시안과 밀도 있게 일치하여 모델의 가정을 지지하였다.
• 데이터 연동 없이도 정확한 국부화를 달성하였으며, 대비 잔여치는 지도의 광학적 및 기하학적 구조를 통해 이벤트를 3D 시점과 암묵적으로 연결하였다.
• 노이즈와 비균일한 이벤트 분포에 대해 강건성을 보였으며, 특히 이벤트 생성이 희소한 평탄한 기울기 영역에서 뛰어난 성능을 발휘하였다.
• EKF 프레임워크 덕분에 실시간으로 이벤트 단위 업데이트가 가능하여, 고속 응용에 적합한 방법이 되었다.