[論文レビュー] A Framework for Real-Time Face and Facial Feature Tracking using Optical Flow Pre-estimation and Template Tracking

Erik R. Gast, Michael S. Lew|arXiv (Cornell University)|Dec 31, 2010

Face recognition and analysis参考文献 47被引用数 5

ひとこと要約

本稿では、高速な動きや運動ぼやけの下でも頑健な性能を達成するために、光学フローの事前推定とテンプレートベースのトラッキングを組み合わせたリアルタイムの顔および顔面特徴点トラッキングフレームワークを提示する。光学フローを用いてテンプレートトラッカーの初期化を行い、遮蔽領域を除外しながら動的にフロー点を再更新することで、ドリフトを低減し、困難な条件下での精度を向上させる。

ABSTRACT

This work presents a framework for tracking head movements and capturing the movements of the mouth and both the eyebrows in real-time. We present a head tracker which is a combination of a optical flow and a template based tracker. The estimation of the optical flow head tracker is used as starting point for the template tracker which fine-tunes the head estimation. This approach together with re-updating the optical flow points prevents the head tracker from drifting. This combination together with our switching scheme, makes our tracker very robust against fast movement and motion-blur. We also propose a way to reduce the influence of partial occlusion of the head. In both the optical flow and the template based tracker we identify and exclude occluded points.

研究の動機と目的

• 高速な頭部移動や運動ぼやけの下でもドリフトや不安定性が生じるリアルタイム顔トラッキングの課題に対処する。
• ハイブリッドフレームワークにおいて光学フローとテンプレートベース手法を組み合わせることでトラッキングの頑健性を向上させる。
• 光学フローとテンプレートトラッキングの両モジュールで遮蔽領域を特定・除外することで、部分的頭部遮蔽の影響を軽減する。
• 口や眉などの顔面特徴点の正確なリアルタイムトラッキングを、全頭部の動きと併せて実現する。
• トラッキングの信頼性と運動状態に基づき、最も適切なトラッキングモードを動的に選択するスイッチング機構を開発する。

提案手法

• 光学フロー推定を用いて頭部ポーズの初期推定値を提供し、テンプレートトラッカーの信頼できる出発点を確保する。
• 光学フローの結果をテンプレートベーストラッカーに供給し、頭部の位置および姿勢を精緻に補正する。
• 長時間のトラッキング中にドリフトを低減するために、光学フロー点の再更新メカニズムを実装する。
• 光学フローとテンプレートトラッキングモジュールの両方で遮蔽された点を特定・除外するための領域除外戦略を導入する。
• トラッキングの信頼性と運動状態に基づき、最も信頼性の高いトラッキングモードを動的に選択するスイッチング方式を適用する。
• 口や眉などの顔面特徴点の特徴点を組み合わせて、顔の表情と頭部の動きを同時にトラッキングする。

実験結果

リサーチクエスチョン

• RQ1 光学フローとテンプレートトラッキングを効果的に統合することで、リアルタイム顔トラッキングの頑健性をどのように向上させられるか？
• RQ2 高速な動き下で、光学フローの事前推定がテンプレートベース顔トラッキングにおけるドリフトをどの程度低減するか？
• RQ3 部分的遮蔽はリアルタイム顔面特徴点トラッキングでどのように検出され、軽減されるか？
• RQ4 光学フロー点の動的再更新が、長期的なトラッキング安定性を維持するために果たす役割は何か？
• RQ5 提案されたスイッチング機構は、運動状態やぼやけの程度が異なる条件下で、性能をどのように向上させるか？

主な発見

• 光学フローとテンプレートトラッキングのハイブリッドアプローチは、単独のテンプレートトラッキングと比較してドリフトを顕著に低減する。
• 初期の光学フロー推定と動的再更新のおかげで、本フレームワークは高速な頭部移動や運動ぼやけの下でも頑健な性能を発揮する。
• 光学フローとテンプレート両モジュールで遮蔽点を除外することで、部分的遮蔽下でのトラッキング安定性が向上する。
• 提案されたスイッチング機構により、運動特性に基づき最も適切なトラッキングモードを選択することで信頼性が向上する。
• 口や眉などの顔面特徴点についても、最小限の遅延で正確なリアルタイムトラッキングが可能である。
• 従来のトラッキング手法と比較して、本フレームワークは動きアーチファクトや視覚的劣化に対してより高い耐性を示す。