[論文レビュー] A Comprehensive Survey on Pose-Invariant Face Recognition

Changxing Ding, Dacheng Tao|arXiv (Cornell University)|Feb 15, 2015

Face recognition and analysis参考文献 137被引用数 35

ひとこと要約

本サーベイは、ポーズ不変顔認識（PIFR）の包括的分析を提供し、既存の手法をポーズに頑健な特徴抽出、マルチビュー部分空間学習、顔の再構築、ハイブリッド手法の4つに分類する。各手法の戦略、長所・短所、性能を評価するとともに、実用的で頑健なPIFRシステムのための主な課題と今後の研究方向性を特定する。

ABSTRACT

The capacity to recognize faces under varied poses is a fundamental human ability that presents a unique challenge for computer vision systems. Compared to frontal face recognition, which has been intensively studied and has gradually matured in the past few decades, pose-invariant face recognition (PIFR) remains a largely unsolved problem. However, PIFR is crucial to realizing the full potential of face recognition for real-world applications, since face recognition is intrinsically a passive biometric technology for recognizing uncooperative subjects. In this paper, we discuss the inherent difficulties in PIFR and present a comprehensive review of established techniques. Existing PIFR methods can be grouped into four categories, i.e., pose-robust feature extraction approaches, multi-view subspace learning approaches, face synthesis approaches, and hybrid approaches. The motivations, strategies, pros/cons, and performance of representative approaches are described and compared. Moreover, promising directions for future research are discussed.

研究の動機と目的

• ポーズ不変顔認識（PIFR）の既存アプローチを、その根幹にある戦略に基づいて体系的にレビューし、分類すること。
• PIFRにおける本質的な困難、すなわち自己遮蔽、意味的対応の喪失、非線形なテクスチャの歪み、および照明や解像度の併存変化などについて分析すること。
• 実用的PIFRシステムに求められる主な要件を特定すること、例えば、全ポーズカバレッジ、併存変化に対する頑健性、効率性など。
• 未解決の課題を強調すること、例えば、大規模なポーズ用の訓練データの不足、プロファイル顔認識の困難さ、および完全に自動化され、1枚の画像での照合が可能な手法の必要性。
• 今後の研究を導くための有望な方向性を提示すること、例えば、改善された3次元顔モデル、教師なし学習、複数のPIFR戦略を組み合わせたハイブリッド技術。

提案手法

• PIFR手法を4つのカテゴリに分類する：ポーズに頑健な特徴抽出（設計型および学習ベース型）、マルチビュー部分空間学習（線形および非線形モデル）、顔の再構築（2次元正規化および回帰ベース型）、ハイブリッド手法。
• マルチビュー学習の代表的技術として、Elastic Bunch Graph Matching、ディープニューラルネットワーク、CCA、カーネルCCA、Deep CCAを分析する。
• 顔の再構築手法を評価する。具体的には、ピecewiseワーピング、パッチ単位のアフィンワーピング、MRFs、および3次元に意識的なテクスチャおよび形状再構築のためのディープニューラルネットワークを含む。
• ベンチマーク研究からの定性的および定量的評価を用いて、各カテゴリの性能と限界を比較する。
• 高度なディープラーニング、3次元の事前知識、および教師なし／弱教師あり学習の統合に基づく、今後のPIFR開発のフレームワークを提案する。
• 任意のポーズペアを照合できるように、効率的で、表情や照明に対して頑健であり、かつその能力を有する手法の設計の重要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 3次元頭部構造と2次元画像投影の両者に起因するポーズ不変顔認識における核心的な技術的課題は何か？
• RQ2 ポーズに頑健な特徴、マルチビュー学習、顔の再構築、ハイブリッド手法といった異なるPIFRアプローチは、戦略、性能、限界においてどのように異なるか？
• RQ3 実用的PIFRシステムが実世界の監視やバイオメトリクス応用において満たすべき主な要件は何か？
• RQ4 なぜプロファイル顔認識が特に困難であり、訓練データとモデルの一般化における主な障壁は何であるか？
• RQ5 今後のPIFRシステムは、ポーズ、照明、表情、解像度の併存変化を効果的に扱うにはどうすればよいか？

主な発見

• 特にディープラーニングベースのポーズに頑健な特徴抽出手法は優れた性能を示すが、大規模なマルチポーズ訓練データを必要とする。
• CCA や カーネルCCA といったマルチビュー部分空間学習手法は、ポーズ間の関係を効果的にモデル化できるが、非線形で複雑な変化には対応できない。
• ピースワイズワーピング や MRFs といった顔の再構築手法は、非正面顔を正規化できるが、しばしばアーティファクトを生じさせたり、極端なポーズでは失敗する。
• 再構築と特徴学習を組み合わせたハイブリッド手法は、より高い頑健性を示し、今後の開発において有望視されている。
• 現在のPIFRシステムは、特にプロファイル顔の処理において、形状推定が不十分で訓練データが不足しているため、全範囲のポーズ変化を処理できていない。
• 最も困難な状況である、左プロファイルと右プロファイルのような任意のポーズペアの照合は、依然としてほとんど解決されておらず、低解像度画像では顔の対称性による部分的解決にとどまっている。