[論文レビュー] Effective Face Frontalization in Unconstrained Images

Tal Hassner, Shai Har-El+2 more|arXiv (Cornell University)|Nov 28, 2014

Face recognition and analysis参考文献 35被引用数 10

ひとこと要約

本論文は、非制約的で非正面の画像から正面視を合成するために、1つの固定された3D顔モデルを用いるシンプルでありながら効果的な顔正面化手法を提案する。各画像ごとの3D形状推定を回避することで、優れたアライメントと認識性能を達成し、LFWでは顔認識精度を91.65%まで向上させ、Adienceでは性別推定を約4%向上させた。これは、認識タスクにおいて、パーソナライズされた3Dフィッティングよりも、剛体的で一般的な3D幾何が優れていることを示している。

ABSTRACT

"Frontalization" is the process of synthesizing frontal facing views of faces appearing in single unconstrained photos. Recent reports have suggested that this process may substantially boost the performance of face recognition systems. This, by transforming the challenging problem of recognizing faces viewed from unconstrained viewpoints to the easier problem of recognizing faces in constrained, forward facing poses. Previous frontalization methods did this by attempting to approximate 3D facial shapes for each query image. We observe that 3D face shape estimation from unconstrained photos may be a harder problem than frontalization and can potentially introduce facial misalignments. Instead, we explore the simpler approach of using a single, unmodified, 3D surface as an approximation to the shape of all input faces. We show that this leads to a straightforward, efficient and easy to implement method for frontalization. More importantly, it produces aesthetic new frontal views and is surprisingly effective when used for face recognition and gender estimation.

研究の動機と目的

• 非制約的画像における顔認識の課題、特に顔の姿勢が極端で多様な状況に対処すること。
• 各画像ごとの3D顔形状推定に依存する従来の正面化手法の限界を克服すること。これらの手法は誤アライメントを引き起こしやすく、計算コストも高い。
• すべての入力に同一の変更のない3D顔モデルを用いることで、パーソナライズされた3Dフィッティングよりも優れたアライメントと認識性能が得られるかどうかを検証すること。
• 非制約的環境下で、正確な3D形状よりも顔のテクスチャが認識に重要であることを示すこと。

提案手法

• 入力画像の被験者の実際の顔の形状に関わらず、すべての画像に同一の固定された3D顔モデル（変更なし）を参照として用いる。
• クエリ画像内の2次元顔キーポイントを検出し、それらを参照モデル上の対応する3次元点にマッチングする。
• 2次元クエリ点から3次元モデル点への射影行列を推定し、画像強度を正面化された3次元座標系にバックプロジェクションする。
• 対称領域からの色をブレンドすることで可視性補正を実施し、非正面ポーズにおける隠蔽または非可視領域に対処する。
• 得られた正面化された画像を、顔認識や性別推定などの後続の認識タスクの入力として用いる。
• LFWおよびAdienceベンチマークでの性能評価に、標準的な画像表現（LBP、FPLBP）と分類器（SVM）を用いる。

実験結果

リサーチクエスチョン

• RQ1 非制約的画像における顔正面化において、固定された一般的な3D顔モデルがパーソナライズされた3D形状推定を上回る可能性があるか？
• RQ2 すべての顔に同一の3Dモデルを用いることで、各画像ごとの3Dフィッティングに比べてアライメント品質と認識性能が向上するか？
• RQ3 パーソナライズされた顔の幾何が欠落している場合、正面化された顔の認識可能性と美観にどの程度影響を与えるか？
• RQ4 非制約的環境下で、顔認識において正確な3D形状よりも顔のテクスチャが重要であるか？
• RQ5 固定モデルを用いた正面化が、LFW や Adience のような困難なベンチマークで最先端性能を向上させられるか？

主な発見

• 提案手法は、LFWベンチマークの「画像制限あり、外部データのラベルなし」カテゴリで91.65% ± 1.04の顔認識精度を達成し、これまでに報告された最高スコアである。
• 固定3Dモデルを用いた正面化により、Adienceベンチマークにおける性別推定精度が約4%向上し、LBP特徴量を用いて80.0% ± 0.7%に達した。
• 外挿的アライメントを実現する固定3Dモデルによる手法は、外観を保全する平面内アライメント手法を上回り、分類性能の向上を示した。
• 入力画像に顕著なポーズ変動が存在しても、正面化結果は高い認識可能性と美観を維持しており、形状の不一致による劣化は最小限に抑えられた。
• 正面化画像をSub-SMLと組み合わせることで、認識性能が2%向上した。これは、最先端の認識パイプラインと互換性があることを示している。
• 性別推定における誤分類の主な原因は、明確な性別的特徴の欠如や画像の劣化であり、正面化プロセス自体の欠陥によるものではなかった。