[論文レビュー] Face Alignment In-the-Wild: A Survey

Xin Jin, Xiaoyang Tan|arXiv (Cornell University)|Aug 15, 2016

Face recognition and analysis参考文献 71被引用数 4

ひとこと要約

本サーベイは、制約のない（野生の）環境における顔アラインメント技術について包括的かつ批判的なレビューを提供し、アクティブアパーチャーモデル（AAM）、制約付きローカルモデル（CLM）、キャスケーデッドレグレッション、ディープ畳み込みニューラルネットワーク（DCNN）などの手法を分類している。最先端のパフォーマンス、効率性のトレードオフ、および特徴学習やマルチタスク学習を含む、耐障害性の高い実世界への展開に向けた主な課題と今後の方向性を特定している。

ABSTRACT

Over the last two decades, face alignment or localizing fiducial facial points has received increasing attention owing to its comprehensive applications in automatic face analysis. However, such a task has proven extremely challenging in unconstrained environments due to many confounding factors, such as pose, occlusions, expression and illumination. While numerous techniques have been developed to address these challenges, this problem is still far away from being solved. In this survey, we present an up-to-date critical review of the existing literatures on face alignment, focusing on those methods addressing overall difficulties and challenges of this topic under uncontrolled conditions. Specifically, we categorize existing face alignment techniques, present detailed descriptions of the prominent algorithms within each category, and discuss their advantages and disadvantages. Furthermore, we organize special discussions on the practical aspects of face alignment in-the-wild, towards the development of a robust face alignment system. In addition, we show performance statistics of the state of the art, and conclude this paper with several promising directions for future research.

研究の動機と目的

• ポーズ、部分的遮蔽、表情の変化、および照明の変動といった制約のない環境における課題に対処する顔アラインメント技術について、包括的かつ批判的なレビューを提供すること。
• 伝統的なモデルとディープラーニングベースのアプローチを含む顕著な顔アラインメント手法を分類・分析し、それらのメカニズムと限界について詳細な記述を行うこと。
• ベンチマークデータセット上で最先端のアルゴリズムのパフォーランスと効率性を評価し、正確性と速度のトレードオフを強調すること。
• 実世界の応用に向けた耐障害性がありリアルタイム対応可能な顔アラインメントシステムを構築する際の実用的側面を議論すること。
• 今後の研究方向性を特定し、提言すること。具体的には、挑戦的なデータセットの収集、自動特徴学習、マルチタスク学習を含む。

提案手法

• 顔アラインメント手法を5つの主要なグループに分類する：アクティブアパーチャーモデル（AAM）、制約付きローカルモデル（CLM）、キャスケーデッドレグレッション、ディープ畳み込みニューラルネットワーク（DCNN）、およびハイブリッドまたは特化型のアプローチ。
• 形状インデックス特徴、レグレッションベースの最適化、およびCNNによる深層特徴抽出といったアルゴリズム的要素を分析し、顔の外見と形状の変動をモデル化する。
• 標準化されたベンチマーク（例：IBUG、LFPW、HELEN）を用いて手法を評価し、平均正規化誤差（MNE）や実行時間といったパフォーマンス指標を報告する。
• C++またはMATLABでの実装の有無を記録することで、アルゴリズムの実装効率を比較し、実行時間とアルゴリズム的複雑性の関係を結びつける。
• ポーズ、遮蔽、表情、照明といった混在要因に対する耐障害性を評価するフレームワークを提唱する。
• 顔アラインメントと関連タスク（例：ポーズ推定、表情認識）を同時に最適化するマルチタスク学習を戦略として提唱し、一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 ポーズの変動、遮蔽、表情の変化、照明の違いといった実世界の課題下で、異なる顔アラインメント手法はどのように性能を発揮するか？
• RQ2 伝統的なモデル（例：AAM、CLM）と現代のディープラーニングベースのアプローチとを比較した場合、制約のない環境下での主な利点と限界は何か？
• RQ3 最先端の手法は、どの程度高い正確性とリアルタイム効率性を達成しているのか？また、標準ベンチマーク上での比較ではどうなるか？
• RQ4 特徴学習とマルチタスク学習は、野生の環境における顔アラインメントシステムの耐障害性をどのように向上させるか？
• RQ5 挑戦的な野生のデータセットは、顔アラインメントアルゴリズムの性能向上に果たす役割は何か？

主な発見

• 最先端の顔アラインメント手法は、制約のあるデータセットでは人間水準に近いパフォーランスを達成するが、IBUGのようなより挑戦的な野生のデータセットでは顕著に性能が低下する。
• キャスケーデッドレグレッションおよびディープラーニングベースの手法（例：LBF、ERT、DCNN）は、HELEN上での194点アラインメントで1,000 FPSを超える高速性を達成しており、リアルタイム応用に適している。
• 多くのアルゴリズムの性能は、IBUGデータセットではLFPWやHELENと比較して劣っている。これは、現在のトレーニングデータセットが、それらが対象としている実世界のデータほど困難ではないことを示唆している。
• 学習ベースの特徴、特にディープ畳み込みネットワークからの特徴は、判別性の高い外見的および形状的特徴を自動で捉えることで、アラインメントの正確性を顕著に向上させる。
• 顔アラインメントと関連タスク（例：ポーズ、表情）を同時に最適化するマルチタスク学習フレームワークは、耐障害性と一般化性能の向上を示しており、有望な今後の道筋を示している。
• 顕著な進展にもかかわらず、顔の外見と環境条件の極端な変動が続くため、野生の環境における顔アラインメントは依然として未解決の問題のままである。