[論文レビュー] FacePoseNet: Making a Case for Landmark-Free Face Alignment

Feng-Ju Chang, Anh Tran+4 more|arXiv (Cornell University)|Aug 24, 2017

Face recognition and analysis参考文献 46被引用数 16

ひとこと要約

FacePoseNet (FPN) は、画像強度から直接 6DoF 3D ヘッドポーズを回帰する軽量 CNN を用いたランドマークフリーな顔アライメント手法を提案する。IJB-A および IJB-B ベンチマークにおいて顔認識精度を優れる結果を達成し、最先端のランドマーク検出器と比較して10倍以上高速である。これは、より高いランドマーク検出精度が下流の認識性能を向上させるという仮定に挑戦するものである。

ABSTRACT

We show how a simple convolutional neural network (CNN) can be trained to accurately and robustly regress 6 degrees of freedom (6DoF) 3D head pose, directly from image intensities. We further explain how this FacePoseNet (FPN) can be used to align faces in 2D and 3D as an alternative to explicit facial landmark detection for these tasks. We claim that in many cases the standard means of measuring landmark detector accuracy can be misleading when comparing different face alignments. Instead, we compare our FPN with existing methods by evaluating how they affect face recognition accuracy on the IJB-A and IJB-B benchmarks: using the same recognition pipeline, but varying the face alignment method. Our results show that (a) better landmark detection accuracy measured on the 300W benchmark does not necessarily imply better face recognition accuracy. (b) Our FPN provides superior 2D and 3D face alignment on both benchmarks. Finally, (c), FPN aligns faces at a small fraction of the computational cost of comparably accurate landmark detectors. For many purposes, FPN is thus a far faster and far more accurate face alignment method than using facial landmark detectors.

研究の動機と目的

• 300W などのベンチマークで高い顔ランドマーク検出精度が、より良い顔アライメントおよび認識性能をもたらすという仮定に挑戦すること。
• 明示的なランドマーク検出を回避し、画像強度から直接 6DoF ヘッドポーズを回帰するランドマークフリーな顔アライメント手法を提案すること。
• 顔アライメント手法の評価を、ランドマーク検出精度ではなく、エンドツーエンドの顔認識性能への影響に基づいて行うこと。
• FPN が、同等のランドマーク検出器と比較して顕著に低い計算コストで優れた 2D および 3D 顔アライメントを達成できることを示すこと。
• ランドマーク検出のノイズおよび顔の表情の変動がアライメント品質を劣化させることを示し、多くの状況においてランドマークフリーなポーズ回帰がより頑健な代替手段であることを示すこと。

提案手法

• 原始的な画像強度から直接 6 ディグリー・オブ・フレッドム（6DoF）3D ヘッドポーズを回帰するシンプルで軽量な畳み込みニューラルネットワーク（CNN）を訓練する。
• ネットワークは、回転および並進パラメータを含むポーズアノテーションを OpenFace によって生成し、明示的なランドマークの監視なしにエンドツーエンドの回帰を可能にする。
• 顔アライメントは、予測された 6DoF ポーズに基づく 3D 変換を入力顔に適用することで実行され、入力顔を標準的な参照フレームに変形する。
• 顔のランドマークに依存しないため、表情の変化、形状のばらつき、曖昧なランドマーク定義によって生じる誤差を回避できる。
• GPU デプロイによりモデル推論を高速化し、最先端のランドマーク検出器と比較して約 10 倍高速なリアルタイムアライメントを実現する。
• IJB-A および IJB-B ベンチマーク上で統一された顔認識パイプラインを用いて評価し、アライメント品質は認識精度によって測定する。

実験結果

リサーチクエスチョン

• RQ1 300W などの標準ベンチマークで高いランドマーク検出精度が、顔認識性能の向上に相関するか？
• RQ2 画像強度から直接 6DoF 3D ポーズを回帰する手法が、顔認識タスクにおいてランドマークベースのアライメントを上回ることができるか？
• RQ3 表情および形状のばらつきは、ランドマークベースの顔アライメントの信頼性にどのように影響するか？
• RQ4 実世界の応用において、ランドマークフリーなポーズ回帰の計算コストはランドマーク検出と比較してどの程度か？
• RQ5 ノイズが混入した不完全なポーズラベルで学習した CNN でも、制約のない顔画像に十分に一般化できるか？

主な発見

• FPN は、300W ベンチマークにおけるランドマーク検出精度が低いにもかかわらず、IJB-A および IJB-B ベンチマークで最先端のランドマーク検出器を上回る顔認識精度を達成した。
• 他のすべてのテスト手法と比較して、平均推論時間が顕著に短く、同等のランドマーク検出手法と比較して約 10 倍高速であった。
• FPN のランドマーク予測は 300W で OpenFace や他の検出器と比較して精度が低いにもかかわらず、その結果として得られる顔アライメントは、より高い認識性能をもたらした。
• 本研究では、標準ベンチマークで向上したランドマーク検出精度が、必ずしもより良いアライメントや認識結果に繋がらないことが示された。
• FPN はランドマーク推定を回避するため、表情や形状の変化に対して頑健であり、アライメントにおける誤差伝搬を低減した。
• 結果から、CNN がノイズが混入した不完全なポーズラベルからも効果的に学習でき、制約のない顔画像へのドメインシフトに対しても良好に一般化できることを示唆している。