[논문 리뷰] Event-Based Features Selection and Tracking from Intertwined Estimation of Velocity and Generative Contours

Laurent Dardelet, Sio-Hoï Ieng외 1명|arXiv (Cornell University)|2018. 11. 19.

Advanced Memory and Neural Computing참고 문헌 11인용 수 6

한 줄 요약

이 논문은 베이지안 추론을 통한 속도 및 생성적 윤곽의 상호 연결된 추정을 통해 임의의 시각적 특징을 탐지하고 추적하는 순수 이벤트 기반 방법을 제안한다. 각 이벤트를 비동기적으로 처리하고 추정된 속도 방향으로 투영함으로써, 최소한의 튜닝과 높은 시간 해상도를 바탕으로 다양한 조명 조건, 속도 및 특징 유형에서도 빠르고 견고한 추적을 가능하게 한다.

ABSTRACT

This paper presents a new event-based method for detecting and tracking features from the output of an event-based camera. Unlike many tracking algorithms from the computer vision community, this process does not aim for particular predefined shapes such as corners. It relies on a dual intertwined iterative continuous -- pure event-based -- estimation of the velocity vector and a bayesian description of the generative feature contours. By projecting along estimated speeds updated for each incoming event it is possible to identify and determine the spatial location and generative contour of the tracked feature while iteratively updating the estimation of the velocity vector. Results on several environments are shown taking into account large variations in terms of luminosity, speed, nature and size of the tracked features. The usage of speed instead of positions allows for a much faster feedback allowing for very fast convergence rates.

연구 동기 및 목표

• 프레임 기반 처리를 피하는 효율적인 순수 이벤트 기반 특징 탐지 및 추적 방법의 부족을 보완한다.
• 이미지 카메라의 저지연성 및 낮은 중복성 이점을 잃는 프레임 기반 접근 방식의 한계를 극복한다.
• 사전 정의된 형상 사전 지식 없이도 대규모 빛의 강도 변화, 고속도 및 복잡한 운동 조건에서도 견고한 특징 추적을 가능하게 한다.
• 이벤트 카메라의 높은 시간 해상도를 활용하기 위해 시간 도메인에서 직접 비동기 이벤트 스트림을 사용하는 방법을 개발한다.
• 동시에 속도를 추정함으로써 추적 안정성과 수렴성 향상을 위한 특징 윤곽의 본질적인 베이지안 기술을 제공한다.

제안 방법

• 베이지안 추론을 사용하여 속도 벡터와 생성적 특징 윤곽 간에 이중적이고 상호 연결된 반복 추정 과정을 수행한다.
• 실시간으로 각 도착 이벤트를 개별적으로 처리하여 시간 배치 없이 속도 추정치와 공간 투영을 업데이트한다.
• 추정된 속도 벡터를 따라 이벤트를 투영함으로써 추적된 특징의 공간 위치와 윤곽을 결정한다.
• 특징 윤곽의 변화하는 형태를 기술하기 위해 베이지안 확률 기반의 생성 모델을 활용한다.
• 시간 기반의 비동기 계산에 의존하여 저지연성과 높은 반응성을 유지하고 프레임 축적을 피한다.
• 튜닝 파rameter에 대한 의존도를 줄이고 신뢰성을 향상시키기 위해 다중 속도 투영을 사용하여 추적을 초기화한다.

실험 결과

연구 질문

• RQ1 순수 이벤트 기반 방법이 프레임 기반 처리나 사전 정의된 특징 형상에 의존하지 않고도 신뢰할 수 있는 특징 탐지 및 추적를 달성할 수 있는가?
• RQ2 속도 추정과 윤곽 모델링을 효과적으로 융합하면 추적 안정성과 수렴성은 어떻게 향상될 수 있는가?
• RQ3 이 방법이 파rameter 재조정 없이도 빛의 강도 변화, 속도 및 특징 복잡성의 큰 변화를 얼마나 잘 처리할 수 있는가?
• RQ4 지속적인 속도 업데이트를 동반한 비동기 이벤트 처리가 추적 성능과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 이벤트 스트림 데이터만을 사용하여 실시간으로 특징 윤곽의 베이지안 기술을 효과적으로 유지하고 업데이트할 수 있는가?

주요 결과

• 위치 기반 업데이트가 아닌 속도 피드백을 사용함으로써 빠른 수렴 속도를 달성하여 실시간 반응성을 확보한다.
• 대규모 빛의 강도 변화와 고속 운동이 있는 환경에서도 추적 성능이 견고하게 유지된다.
• 비정형적이고 비탄성 특징(예: 수직으로 크게 진동하는 머리 부분을 가진 보행자)을 성공적으로 추적함으로써 단순한 형태를 넘어서 일반화 능력을 입증한다.
• 다중 초기 속도 투영의 사용이 파rameter 튜닝에 대한 민감도를 크게 감소시켜 신뢰성을 향상시킨다.
• 지속적인 베이지안 업데이트를 통해 정확한 특징 윤곽 기술을 유지함으로써 프레임 재구성 없이도 정밀한 추적을 가능하게 한다.
• 결과적으로 이 방법은 지연 시간과 계산 효율성 측면에서 기존의 프레임 기반 기법을 능가하면서도 경쟁 가능한 정확도를 유지한다.