[論文レビュー] Towards Large-Pose Face Frontalization in the Wild

Xi Yin, Yu Xiang+3 more|arXiv (Cornell University)|Apr 20, 2017

Face recognition and analysis参考文献 35被引用数 43

ひとこと要約

本稿では、極端なプロファイルビューまで90°に達する野生の環境下における大規模なポーズ変動を持つ顔画像の高品質でアイデンティティを保持する前面化を実現する、3Dモーファブルモデル（3DMM）に条件付けられたGAN、FF-GANを提案する。3DMMの事前知識、識別器、アイデンティティ認識正則化、および新規の対称性と再構成損失を統合することにより、FF-GANはLFWおよびMulti-PIEで最先端の顔認識精度を達成し、特に45°を超えるポーズにおいて顕著である。

ABSTRACT

Despite recent advances in face recognition using deep learning, severe accuracy drops are observed for large pose variations in unconstrained environments. Learning pose-invariant features is one solution, but needs expensively labeled large-scale data and carefully designed feature learning algorithms. In this work, we focus on frontalizing faces in the wild under various head poses, including extreme profile views. We propose a novel deep 3D Morphable Model (3DMM) conditioned Face Frontalization Generative Adversarial Network (GAN), termed as FF-GAN, to generate neutral head pose face images. Our framework differs from both traditional GANs and 3DMM based modeling. Incorporating 3DMM into the GAN structure provides shape and appearance priors for fast convergence with less training data, while also supporting end-to-end training. The 3DMM-conditioned GAN employs not only the discriminator and generator loss but also a new masked symmetry loss to retain visual quality under occlusions, besides an identity loss to recover high frequency information. Experiments on face recognition, landmark localization and 3D reconstruction consistently show the advantage of our frontalization method on faces in the wild datasets.

研究の動機と目的

• 制約のない環境下で顕著なポーズ変動に起因する顔認識精度の著しい低下という課題に対処すること。
• 入力が非前面の顔画像（90°までの極端なプロファイルビューを含む）を前面化する手法を開発し、アイデンティティと視覚的品質を保持すること。
• 完全にデータ駆動のGANと3DMMベースの手法の限界を克服し、両者の長所を統合することで、より優れた一般化性能と詳細の保持を実現すること。
• 形状および外見の事前知識を用いたエンドツーエンドの学習を可能にし、データ依存性を低減するとともに収束性を向上させること。
• 顔認識、3D再構築、仮想・拡張現実の応用分野に適用可能であり、現実的でアイデンティティを保持する出力を提供すること。

提案手法

• 単一の入力画像から3D形状および外見係数を推定する深層3DMMベースの再構成器を統合し、グローバルなポーズおよび低周波数の事前知識を提供する。
• 3DMM係数と入力画像を融合する生成器ネットワークを設計し、前面顔を合成することで高周波数の局所的詳細を保持する。
• 実際の前面顔と生成された顔を区別する識別器を採用し、現実性と高次元の分布整合性を強制する。
• 自己遮蔽に特に配慮し、視覚的品質を維持するための新規のマスク化された対称性損失を導入する。
• 事前学習済みの顔認識ネットワークを用いて、入力画像と生成画像間の特徴表現を一致させるためのアイデンティティ損失を適用し、アイデンティティ保持を保証する。
• 敵対的損失、再構成損失、対称性損失、アイデンティティ損失のバランスの取れた組み合わせを用いて、フレームワーク全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 3DMMに条件付けられたGANフレームワークは、制約のない、野生の環境下で極端な頭部ポーズ（最大90°）にさらされた顔の高精細な前面化を達成できるか？
• RQ2 3DMMの事前知識を統合することで、顔の前面化における収束速度の向上とデータ要件の低減がどの程度達成できるか？
• RQ3 標準のGAN損失と比較して、提案されたマスク化された対称性損失は、遮蔽状態における視覚的品質をどの程度向上させるか？
• RQ4 顔認識エンジンを用いたアイデンティティ正則化は、大規模なポーズ変動に対してもアイデンティティをどの程度保持できるか？
• RQ5 提案手法は、特に45°を超えるポーズにおいて、既存の最先端手法を上回る顔認識精度を達成できるか？

主な発見

• FF-GANは、0°から90°のポーズをカバーするMulti-PIEデータセットにおいて91.6%の顔認識精度を達成し、特に極端なポーズにおいて顕著に優れた性能を示し、先行手法を大きく上回った。
• LFWデータセットでは、FF-GANが前面化出力を用いて91.5%の認識精度を達成し、以前の最先端手法を上回った。
• アブレーションスタディの結果、認識エンジン（C）を除去すると性能が59.2%に低下し、アイデンティティ保持においてその重要性が明確になった。
• 3DMM再構成器（R）は顕著な貢献を示しており、これを除去すると性能が68.5%に低下し、アーチファクトの低減とポーズ整合性のガイド役としての重要性が示された。
• マスク化された対称性損失とアイデンティティ損失の両方が有意に寄与しており、それぞれ除去すると性能は73.1%および69.3%に低下し、品質とアイデンティティ忠実度の維持における役割が強調された。
• AFLWおよびIJB-Aにおける定性的な結果から、FF-GANは明るさ、表情、ポーズの変動が著しい状況下でも、現実的でアイデンティティを保持する前面顔を生成できることを示した。