[论文解读] A Framework for Real-Time Face and Facial Feature Tracking using Optical Flow Pre-estimation and Template Tracking

Erik R. Gast, Michael S. Lew|arXiv (Cornell University)|Dec 31, 2010

Face recognition and analysis参考文献 47被引用 5

一句话总结

本文提出了一种实时人脸及面部特征追踪框架，结合光流预估与基于模板的追踪技术，在快速运动和运动模糊条件下实现鲁棒性能。通过使用光流初始化模板追踪器，并在排除遮挡区域的同时动态重新更新光流点，该方法减少了漂移现象，提升了在复杂条件下的追踪精度。

ABSTRACT

This work presents a framework for tracking head movements and capturing the movements of the mouth and both the eyebrows in real-time. We present a head tracker which is a combination of a optical flow and a template based tracker. The estimation of the optical flow head tracker is used as starting point for the template tracker which fine-tunes the head estimation. This approach together with re-updating the optical flow points prevents the head tracker from drifting. This combination together with our switching scheme, makes our tracker very robust against fast movement and motion-blur. We also propose a way to reduce the influence of partial occlusion of the head. In both the optical flow and the template based tracker we identify and exclude occluded points.

研究动机与目标

• 解决在快速头部运动和运动模糊条件下实时人脸追踪中的漂移与不稳定性问题。
• 通过在混合框架中结合光流与基于模板的方法，提升追踪鲁棒性。
• 通过在光流与模板追踪组件中均引入区域排除策略，减轻部分头部遮挡的影响。
• 实现实时准确追踪面部特征（包括嘴部与眉毛）及完整头部运动。
• 开发一种切换机制，利用光流与模板追踪的优势，提升追踪的稳定性与精度。

提出的方法

• 使用光流估计作为初始头部姿态估计，为模板追踪器提供可靠的起始点。
• 将光流结果输入基于模板的追踪器，以精炼和微调头部位置与朝向。
• 实现光流点的重新更新机制，以在长时间追踪过程中保持精度并减少漂移。
• 引入区域排除策略，识别并排除光流与模板追踪模块中的遮挡点。
• 应用一种切换方案，根据追踪置信度与运动状态动态选择最可靠的追踪模式。
• 结合面部特征点（如嘴部、眉毛）实现面部表情与头部运动的同步追踪。

实验结果

研究问题

• RQ1 如何有效结合光流与模板追踪以提升实时人脸追踪的鲁棒性？
• RQ2 光流预估在快速运动条件下在多大程度上减少了基于模板的人脸追踪漂移？
• RQ3 在实时面部特征追踪中，如何检测并缓解部分遮挡的影响？
• RQ4 动态重新更新光流点在维持长期追踪稳定性方面起到何种作用？
• RQ5 所提出的切换机制在不同运动与模糊条件下如何提升性能？

主要发现

• 混合光流与模板追踪方法相比独立的模板追踪方法显著减少了漂移。
• 由于初始光流估计与动态重新更新机制，该框架在快速头部运动与运动模糊条件下表现出鲁棒性能。
• 在光流与模板组件中均排除遮挡点，可提升在部分遮挡情况下的追踪稳定性。
• 所提出的切换机制通过根据运动特性选择最合适的追踪模式，增强了追踪可靠性。
• 该方法实现了对嘴部与眉毛等面部特征的高精度实时追踪，延迟极低。
• 与传统追踪方法相比，该框架在运动伪影与视觉退化方面表现出更强的鲁棒性。