[논문 리뷰] High Speed Event-based Face Detection and Tracking in the Blink of an Eye

Gregor Lenz, Sio-Hoï Ieng외 1명|arXiv (Cornell University)|2018. 03. 27.

Neural dynamics and brain function인용 수 4

한 줄 요약

이 논문은 눈 깜빡임을 동적 서명으로 활용하여 이벤트 카메라의 높은 시간 해상도를 이용해 순수하게 이벤트 기반의 얼굴 검출 및 추적 방법을 제시한다. 개인 간에 동기화된 눈 깜빡임의 고유한 시간 패턴을 모델링함으로써, 저지연, 계산 효율성이 뛰어난 얼굴 검출 및 실시간 성능을 갖춘 확률적 추적을 가능하게 한다. 다양한 환경에서 실현 가능하다.

ABSTRACT

We present the first purely event-based method for face detection using the high temporal resolution of an event-based camera. We will rely on a new feature that has never been used for such a task that relies on detecting eye blinks. Eye blinks are a unique natural dynamic signature of human faces that is captured well by event-based sensors that rely on relative changes of luminance. Although an eye blink can be captured with conventional cameras, we will show that the dynamics of eye blinks combined with the fact that two eyes act simultaneously allows to derive a robust methodology for face detection at a low computational cost and high temporal resolution. We show that eye blinks have a unique temporal signature over time that can be easily detected by correlating the acquired local activity with a generic temporal model of eye blinks that has been generated from a wide population of users. We furthermore show that once the face is reliably detected it is possible to apply a probabilistic framework to track the spatial position of a face for each incoming event while updating the position of trackers. Results are shown for several indoor and outdoor experiments. We will also release an annotated data set that can be used for future work on the topic.

연구 동기 및 목표

• 최소한의 계산 부하와 높은 시간 해상도를 갖춘 동적 환경에서의 얼굴 검출 문제를 해결한다.
• 인간의 눈이 자연스럽게 동기화된 깜빡임 행동을 고유한 동적 서명으로 활용하여 얼굴 검출을 수행한다.
• 전통적인 이미지 특징에 의존하지 않고 이벤트 기반 센서의 시간 민감도를 활용해 강건하고 저비용의 얼굴 검출 방법을 개발한다.
• 들어오는 이벤트마다 업데이트되는 확률적 프레임워크를 통합하여 실시간 얼굴 추적을 가능하게 한다.

제안 방법

• 다양한 사용자 집단에서 유도된 일반적인 시간 동적 모델과 국소적 이벤트 활동을 상관관계화하여 눈 깜빡임을 검출한다.
• 양쪽 눈의 동시에 깜빡임을 고유한 시공간 패턴으로 활용하여 다른 움직이는 물체와 얼굴을 구분한다.
• 들어오는 이벤트 스트림을 사용해 실시간으로 얼굴 위치 추정치를 업데이트하는 확률적 추적 프레임워크를 적용한다.
• 표준 파형 템플릿을 사용해 깜빡임의 시간 서명을 모델링하여 다양한 조명 및 운동 조건에서도 신뢰할 수 있는 검출을 가능하게 한다.
• 광도 변화에 의해 유도되는 희소하고 비동기적인 이벤트 출력을 활용해 마이크로초 수준 정밀도로 빠른 깜빡임 역학을 캡처한다.
• 새로운 이벤트 기반 깜빡임 시퀀스에 대한 애너테이션을 포함한 데이터셋을 기반으로 검출 모델을 훈련하고 검증한다.

실험 결과

연구 질문

• RQ1 이벤트 기반 센서를 사용해 전통적인 이미지 특징 없이도 눈 깜빡임 역학을 신뢰성 있게 검출할 수 있는가?
• RQ2 양쪽 눈의 동기화된 깜빡임이 다른 물체와 구분되는 고유하고 강건한 시간 서명을 제공하는가?
• RQ3 다양한 사용자 및 환경에서 일반적인 시간 모델을 적용해 일관된 검출를 지원할 수 있는가?
• RQ4 저비용 계산 부하와 높은 시간 해상도를 갖춘 이벤트 기반 얼굴 검출 및 추적을 어느 정도 달성할 수 있는가?

주요 결과

• 눈 깜빡임은 이벤트 기반 데이터에서 신뢰성 있게 검출 가능한 고유하고 반복 가능한 시간 서명을 생성한다.
• 이 방법은 마이크로초 수준의 이벤트 타이밍을 활용해 높은 시간 해상도로 실시간 얼굴 검출을 달성한다.
• 양쪽 눈의 동시에 깜빡임은 단일 눈의 움직임이나 무작위 깜빡임 패턴보다 검출의 강건성을 크게 향상시킨다.
• 확률적 추적 프레임워크는 지속적인 이벤트 스트림 처리 중 최소한의 계산 오버헤드로 정확한 얼굴 위치 추정치를 유지한다.
• 이 방법은 다양한 조명 및 운동 조건이 있는 실내 및 실외 환경 모두에서 일관된 성능을 보여준다.
• 저자들은 향후 이벤트 기반 얼굴 검출 분야의 연구를 지원하기 위해 새로운 애너테이션된 이벤트 기반 얼굴 깜빡임 시퀀스 데이터셋을 공개한다.