[논문 리뷰] A Framework for Real-Time Face and Facial Feature Tracking using Optical Flow Pre-estimation and Template Tracking

Erik R. Gast, Michael S. Lew|arXiv (Cornell University)|2010. 12. 31.

Face recognition and analysis참고 문헌 47인용 수 5

한 줄 요약

이 논문은 빠른 운동과 운동 왜곡 조건에서도 견고한 성능을 달성하기 위해 광학 흐름 사전 추정과 템플릿 기반 추적을 조합한 실시간 얼굴 및 얼굴 기능 추적 프레임워크를 제시한다. 광학 흐름을 사용해 템플릿 추적기를 초기화하고, 가림 영역을 제외한 채로 흐름 포인트를 동적으로 재업데이트함으로써, 이론적 드리프트를 감소시키고 도전적인 조건에서 정확도를 향상시킨다.

ABSTRACT

This work presents a framework for tracking head movements and capturing the movements of the mouth and both the eyebrows in real-time. We present a head tracker which is a combination of a optical flow and a template based tracker. The estimation of the optical flow head tracker is used as starting point for the template tracker which fine-tunes the head estimation. This approach together with re-updating the optical flow points prevents the head tracker from drifting. This combination together with our switching scheme, makes our tracker very robust against fast movement and motion-blur. We also propose a way to reduce the influence of partial occlusion of the head. In both the optical flow and the template based tracker we identify and exclude occluded points.

연구 동기 및 목표

• 빠른 머리 움직임과 운동 왜곡 조건에서 실시간 얼굴 추적의 드리프트와 불안정성 문제를 해결한다.
• 하이브리드 프레임워크에서 광학 흐름과 템플릿 기반 방법을 조합함으로써 추적의 견고성을 향상시킨다.
• 광학 흐름 및 템플릿 추적 모듈에서 부분적인 머리 가림을 감지하고 제외함으로써 영향을 최소화한다.
• 입과 눈썹과 같은 얼굴 기능의 정확한 실시간 추적과 함께 전체 머리 운동을 가능하게 한다.
• 광학 흐름과 템플릿 추적의 장점을 활용하는 스위칭 메커니즘을 개발하여 안정성과 정밀도를 향상시킨다.

제안 방법

• 템플릿 추적기의 신뢰할 수 있는 시작점을 제공하기 위해 광학 흐름 추정을 사용해 초깃세포 포지션을 추정한다.
• 광학 흐름 결과를 템플릿 기반 추적기에 입력하여 머리 위치와 방향을 정밀하게 보정한다.
• 지속적인 추적 중 드리프트를 줄이고 정확도를 유지하기 위해 광학 흐름 포인트의 재업데이트 메커니즘을 구현한다.
• 광학 흐름 및 템플릿 추적 모듈에서 모두 가림 영역을 식별하고 제외하는 영역 제외 전략을 도입한다.
• 추적 신뢰도와 운동 조건에 기반해 가장 신뢰할 수 있는 추적 모드를 동적으로 선택하는 스위칭 기법을 적용한다.
• 입과 눈썹과 같은 얼굴 기능 포인트의 조합을 활용하여 얼굴 표정과 머리 운동을 동시에 추적한다.

실험 결과

연구 질문

• RQ1 광학 흐름과 템플릿 추적을 효과적으로 조합하여 실시간 얼굴 추적의 견고성을 향상시킬 수 있는가?
• RQ2 빠른 운동 조건에서 광학 흐름 사전 추정이 템플릿 기반 얼굴 추적의 드리프트를 어느 정도 감소시키는가?
• RQ3 실시간 얼굴 기능 추적에서 부분적인 가림을 어떻게 감지하고 완화할 수 있는가?
• RQ4 광학 흐름 포인트의 동적 재업데이트가 장기적인 추적 안정성 유지에 어떤 역할을 하는가?
• RQ5 제안된 스위칭 메커니즘이 다양한 운동 및 왜곡 조건에서 성능을 어떻게 향상시키는가?

주요 결과

• 하이브리드 광학 흐름 및 템플릿 추적 접근법은 단독 템플릿 추적보다 드리프트를 크게 감소시킨다.
• 초기 광학 흐름 추정과 동적 재업데이트 덕분에 빠른 머리 운동과 운동 왜곡 조건에서도 프레임워크가 견고한 성능을 발휘한다.
• 광학 흐름 및 템플릿 구성 요소에서 가림 영역을 제외함으로써 부분적인 가림 상황에서 추적 안정성이 향상된다.
• 제안된 스위칭 메커니즘은 운동 특성에 기반해 가장 적합한 추적 모드를 선택함으로써 신뢰성을 향상시킨다.
• 입과 눈썹과 같은 얼굴 기능의 정확한 실시간 추적을 최소 지연 시간으로 가능하게 한다.
• 기존 추적 방법에 비해 운동 아티팩트와 시각적 열화에 더 강건한 프레임워크를 구현한다.