[論文レビュー] Facial Feature Point Detection: A Comprehensive Survey

Nannan Wang, Xinbo Gao+2 more|arXiv (Cornell University)|Oct 4, 2014

Face recognition and analysis参考文献 13被引用数 48

ひとこと要約

この包括的なサーベイは顔の特徴点検出手法を、制約付き局所モデル（CLM）ベース、アクティブアパーニャンスモデル（AAM）ベース、回帰ベース、およびその他の手法に分類してレビューしている。カスケードド回帰ベースの手法が最先端の性能を達成している一方で、部分的遮蔽、顔の大きなポーズ変化、非正面顔の処理には課題が残っている。

ABSTRACT

This paper presents a comprehensive survey of facial feature point detection with the assistance of abundant manually labeled images. Facial feature point detection favors many applications such as face recognition, animation, tracking, hallucination, expression analysis and 3D face modeling. Existing methods can be categorized into the following four groups: constrained local model (CLM)-based, active appearance model (AAM)-based, regression-based, and other methods. CLM-based methods consist of a shape model and a number of local experts, each of which is utilized to detect a facial feature point. AAM-based methods fit a shape model to an image by minimizing texture synthesis errors. Regression-based methods directly learn a mapping function from facial image appearance to facial feature points. Besides the above three major categories of methods, there are also minor categories of methods which we classify into other methods: graphical model-based methods, joint face alignment methods, independent facial feature point detectors, and deep learning-based methods. Though significant progress has been made, facial feature point detection is limited in its success by wild and real-world conditions: variations across poses, expressions, illuminations, and occlusions. A comparative illustration and analysis of representative methods provide us a holistic understanding and deep insight into facial feature point detection, which also motivates us to explore promising future directions.

研究の動機と目的

• 複数のカテゴリにわたる顔の特徴点検出（FFPD）手法について、体系的かつ比較的分析を行うこと。
• 特にポーズ変化、遮蔽、表情変化といった現実世界の条件下で顕在化する、既存のFFPD手法の主な制限要因を特定すること。
• LFPW、Helen、COFWデータベースなどの標準ベンチマーク上で、最先端手法の性能を評価すること。
• 遮蔽や変形のある顔の検出において、人間レベルの性能と現在の手法との間のギャップを強調すること。
• 適応的特徴学習や暗黙の形状モデリングを含む、有望な未来の研究方向を同定すること。

提案手法

• FFPD手法を4つの主要カテゴリに分類：CLMベース、AAMベース、回帰ベース、その他の手法。
• 局所エキスパートと形状の事前知識を用いて応答マップからのランドマーク予測を改善するCLMベース手法を分析。
• PCA基底の線形結合を用いて形状とテクスチャを同時にモデリングし、合成誤差を最小化するAAMベース手法をレビュー。
• 形状やテクスチャモデルを明示的に用いずに、画像の外観から直接ランドマーク座標をマッピングする回帰ベース手法を検討。
• 「その他の手法」をグラフィカルモデルベース、統合的顔アライメント、独立型検出器、深層学習ベースのアプローチに分類。
• LFPW、Helen、COFWなどの標準データベースを用いて、1ランドマークあたりの平均誤差や1画像あたりの平均誤差といった指標で手法の性能を評価。

実験結果

リサーチクエスチョン

• RQ1 CLM、AAM、回帰、深層学習といった異なるFFPD手法は、現実世界の条件下における正確性と頑健性の観点で、どのように比較されるか？
• RQ2 主にポーズ変化、遮蔽、表情変化の観点から、FFPD性能に影響を与える主な課題は何であるか？
• RQ3 最先端の手法はどの程度人間レベルの正確性に達しており、どこでまだ不足しているか？
• RQ4 特徴設計とモデル構造は、特に形状や外観の変化に対処する際の検出性能にどのように影響を与えるか？
• RQ5 現在のデータベースと評価プロトコルの主な制限は何か？これらは現実世界の展開シナリオを的確に反映しているか？

主な発見

• カスケードド回帰ベースの手法が、すべてのカテゴリの中で最高の性能を達成しており、2.93 GHz CPU上で1画像あたり0.015秒のテスト時間も実現している。
• 最先端の手法はLFPWおよびHelenデータベースでは人間レベルの正確性に達しているが、より多くの遮蔽や困難なポーズを含むCOFWでは著しく性能が劣る。
• 顔の輪郭に近いランドマークは、ポーズや遮蔽の影響を最も強く受けるため、検出が最も困難である。一方、目の端や鼻先のランドマークは表情変化に対してより頑健である。
• CLMベース手法は、訓練に長時間（例：2.5 GHz CPUで1画像あたり最大2.41秒）を要するが、推論時間は比較的速い。
• 深層学習ベースの手法は強力な可能性を示しているが、長時間の学習と、未観測のポーズや表情変化への一般化能力の欠如が制限要因である。
• 線形PCA形状仮定に依存する従来のモデルは形状表現能力に限界があるため、より柔軟で暗黙の形状制約を導入する必要がある。