[論文レビュー] Face frontalization for Alignment and Recognition

Christos Sagonas, Yannis Panagakis+2 more|arXiv (Cornell University)|Feb 3, 2015

Face recognition and analysis参考文献 33被引用数 12

ひとこと要約

本稿では、わずかな正面顔画像のみを用いて、顔ランドマークの局所化と正面顔再構築を同時に実行する統合的手法FAR（Face Frontalization for Alignment and Recognition）を提案する。正面顔は核ノルムが最小（低ランク）であるという観察を活用し、核ノルムとL1ノルムを最小化する制約付き最適化問題を解くことで、同時にランドマークと前方化された画像を回復する。3Dモデルや深層学習を用いずに、ポーズ不変認識およびアライメントにおいて最先端の性能を達成する。

ABSTRACT

Recently, it was shown that excellent results can be achieved in both face landmark localization and pose-invariant face recognition. These breakthroughs are attributed to the efforts of the community to manually annotate facial images in many different poses and to collect 3D faces data. In this paper, we propose a novel method for joint face landmark localization and frontal face reconstruction (pose correction) using a small set of frontal images only. By observing that the frontal facial image is the one with the minimum rank from all different poses we formulate an appropriate model which is able to jointly recover the facial landmarks as well as the frontalized version of the face. To this end, a suitable optimization problem, involving the minimization of the nuclear norm and the matrix $\ell_1$ norm, is solved. The proposed method is assessed in frontal face reconstruction (pose correction), face landmark localization, and pose-invariant face recognition and verification by conducting experiments on $6$ facial images databases. The experimental results demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 制限付きの学習データでの非制約的条件下における正確な顔アライメントおよびポーズ不変認識の課題に対処すること。
• 非正面ポーズの状況において、3D顔モデルや大規模なアノテート済みデータセットを必要としないようにすること。
• わずかな正面顔画像のみを用いて、同時に顔ランドマークの局所化と顔の前方化を実行する統合フレームワークの開発。
• 正面顔がすべてのポーズの中で核ノルムが最小であることを検証し、ポーズ補正のための低ランクモデリングが可能であることを示すこと。
• 深層学習や複雑な3Dフィッティング手順に依存せずに、顔認識および検証において高い性能を達成すること。

提案手法

• 本手法は、顔の前方化とランドマークの局所化を、核ノルムと画像表現のL1ノルムを最小化する制約付き低ランク行列回復問題として定式化する。
• 構造的一致性を保証するために、わずかな正面顔画像から構築された統計的形状モデルUを用いる。
• 凸緩和を用いて最適化を解き、正面顔が対称的な顔の構造のおかげで最小ランクを示すという事実を活用する。
• 顔の位置を初期化するために検出器を用い、最適化を繰り返し適用することで、ランドマークと前方化された画像の両方を回復する。
• 3Dモデリングを避けるために低ランク事前知識に依存し、3D顔スキャンや広範な2Dアノテーションを必要としない。
• フレームワークはエンドツーエンドに適用される：入力画像から前方化された出力まで、ランドマークと正面ビューを同時に回復する。

実験結果

リサーチクエスチョン

• RQ1 わずかな正面顔画像のみを用いて、統合フレームワークが顔ランドマークの局所化と前方化を同時に実行可能か？
• RQ2 すべてのポーズの中で、正面顔が核ノルムが最小であるか？ これにより、ポーズ補正のための低ランクモデリングが可能か？
• RQ3 低ランクおよびスparser最適化は、3Dモデルや深層学習を用いずに、既存手法を上回るポーズ不変顔認識を達成できるか？
• RQ4 統計的正面顔モデルのみを用いて、非制約的環境で高い認識精度を達成することは可能か？
• RQ5 顔ランドマークの局所化および認識性能の観点から、本手法は最先端のアプローチと比較してどのように差をつけるか？

主な発見

• 提案手法FARは、複数のポーズを含むMultiPIEデータベースにおいて97.06%の認識精度を達成し、比較対象の5つの手法のうち4つを上回った。
• LFWデータセットでは、平均分類精度88.81% ± 0.0078を達成し、MRF-MLBPおよびFisher Vector Facesを上回り、最先端のEigenPEP手法と同等の性能を示した。
• 本手法は、正面顔がすべてのポーズの中で核ノルムが最小であることを実証し、低ランク回復の核心的仮定を裏付けた。
• FARは、正面顔画像のみで学習されたにもかかわらず、複数のポーズをカバーする数千枚の画像で学習された手法を上回る顔ランドマークの局所化性能を示した。
• 3D顔モデルや複雑な3Dフィッティング手順を必要とせず、高品質な前方化画像を生成でき、計算コストと複雑さを低減した。
• 結果から、低ランクおよびスパース最適化が非剛性顔の変形を効果的にモデリングでき、ロバストなポーズ不変認識を可能にすることが確認された。