[論文レビュー] UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition

Jiankang Deng, Shiyang Cheng+3 more|arXiv (Cornell University)|Dec 13, 2017

Face recognition and analysis参考文献 35被引用数 5

ひとこと要約

UV-GAN は、野生の画像からの 3D フェイスモデルフィッティングによって得られる不完全なフェイス UV マップを、局所的およびグローバルな敵対的学習を用いて補完する生成的敵対ネットワークを提案する。この手法により、アイデンティティを保持したまま、合成された任意のポーズの顔画像を生成可能となり、トレーニングにおけるポーズ変動を向上させるとともに、テスト時のポーズ差を低減する。CFP フロント・プロファイルプロトコルにおいて、94.05% の最先端の認証精度を達成した。

ABSTRACT

Recently proposed robust 3D face alignment methods establish either dense or sparse correspondence between a 3D face model and a 2D facial image. The use of these methods presents new challenges as well as opportunities for facial texture analysis. In particular, by sampling the image using the fitted model, a facial UV can be created. Unfortunately, due to self-occlusion, such a UV map is always incomplete. In this paper, we propose a framework for training Deep Convolutional Neural Network (DCNN) to complete the facial UV map extracted from in-the-wild images. To this end, we first gather complete UV maps by fitting a 3D Morphable Model (3DMM) to various multiview image and video datasets, as well as leveraging on a new 3D dataset with over 3,000 identities. Second, we devise a meticulously designed architecture that combines local and global adversarial DCNNs to learn an identity-preserving facial UV completion model. We demonstrate that by attaching the completed UV to the fitted mesh and generating instances of arbitrary poses, we can increase pose variations for training deep face recognition/verification models, and minimise pose discrepancy during testing, which lead to better performance. Experiments on both controlled and in-the-wild UV datasets prove the effectiveness of our adversarial UV completion model. We achieve state-of-the-art verification accuracy, $94.05\%$, under the CFP frontal-profile protocol only by combining pose augmentation during training and pose discrepancy reduction during testing. We will release the first in-the-wild UV dataset (we refer as WildUV) that comprises of complete facial UV maps from 1,892 identities for research purposes.

研究の動機と目的

• 野生の画像からの 3D フェイスモデルフィッティングに起因する自己遮蔽によって生じる不完全なフェイス UV マップの課題に対処すること。
• アイデンティティ情報を保持するように設計された深層学習フレームワークを構築すること。
• 補完された UV マップから生成された合成顔画像を用いて、ポーズ増強トレーニングとポーズ差の低減を実現すること。
• 研究用に利用可能な、1,892 人のアイデンティティを含む大規模な野生の UV データセット（WildUV）を収集・公開すること。

提案手法

• マルチビューのデータセットおよび新規に作成された 3,000 人分の 3D データセットを用いて、2D 画像に 3D モーファブルモデル（3DMM）をフィッティングし、不完全なフェイス UV マップを抽出する。
• 局所的およびグローバルな敵対的損失を統合した二重判別器 GAN アーキテクチャを設計し、一貫性がありアイデンティティを保持する UV 補完を実現する。
• 3D メッシュに接続された補完済み UV マップを用いて、レンダリングにより任意のポーズの 2D 顔画像を合成する。
• トレーニング時にポーズ合成を適用してトレーニングデータの多様性を向上させ、テスト時にポーズ不一致を低減する。
• 特徴量の中心を用いた堅牢な認証のため、視点補間（例：15° ステップ）を用いてテンプレートペアを生成する。
• 制御下の UV データセットおよび野生の UV データセット（新規に公開された WildUV データセットを含む）の両方でトレーニングと評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習は、最大 50% の欠損領域を有するフェイス UV マップを、アイデンティティを保持したまま効果的に補完できるか？
• RQ2 UV マップの補完とその後のポーズ合成により、大規模でポーズ多様性のあるトレーニングデータセットを必要とせずに、ポーズ不変顔認識の性能が向上するか？
• RQ3 補完された UV マップから任意のポーズの顔画像を合成することで、テスト時のポーズ差を低減し、認証精度を向上させられるか？
• RQ4 提案手法は、より小さなデータセットからのデータ拡張のみを用いても、CFP フロント・プロファイルプロトコルで最先端の性能を達成できるか？

主な発見

• UV-GAN は、CFP フロント・プロファイルプロトコルにおいて、94.05% の最先端の認証精度を達成した。
• UV マップ補完によるポーズ増強により、CFP データセットにおける認証精度が 87.74% から 93.09% に向上し、トレーニングにおける有効性が示された。
• テスト時にプロファイル顔からフロント顔を合成することで精度が 0.46% 向上し、逆にフロント顔からプロファイル顔を合成することで 0.63% 向上した。これにより、ポーズ差の低減に寄与することが示された。
• フロント2プロファイルおよびプロファイル2フロントの二重テンプレート合成により、94.05% の精度を達成し、前例の最先端手法を 0.29% 上回った。
• augUV データセットを用いた拡張された CASIA データセットで学習したモデルは、6 倍も大きな VGG2 データセットで学習したモデルと同等の性能を示した。
• 3DMM フィッティングから得られる 157 次元のアイデンティティパラメータには顕著なアイデンティティ情報が含まれており、これを唯一の特徴量として学習したモデルでも 67.49% の精度を達成した。これは、形状の詳細を保持することが重要であることを示している。