[論文レビュー] A Generative 3D Facial Model by Adversarial Training.

Victoria Fernández Abrevaya, Adnane Boukhayma+2 more|arXiv (Cornell University)|Feb 10, 2019

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、幾何マッピング層を介して接続された3次元ジェネレータと2次元ディスクリミネータを用いた敵対的訓練による3次元顔面生成モデルを提案する。この手法により、アイデンティティと表情の分離性が向上し、より多様でアーティファクトのない顔が生成可能となる。本手法は、標準ベンチマークにおいて、分離性とサンプルの多様性の両面で最先端の性能を達成している。

ABSTRACT

Data-driven generative 3D face models are used to compactly encode facial shape data into meaningful parametric representations. A desirable property of these models is their ability to effectively decouple natural sources of variation, in particular identity and expression. While factorized representations have been proposed for that purpose, they are still limited in the variability they can capture and may present modeling artifacts when applied to tasks such as expression transfer. In this work, we explore a new direction with Generative Adversarial Networks and show that they contribute to better face modeling performances, especially in decoupling natural factors, while also achieving more diverse samples. To train the model we introduce a novel architecture that combines a 3D generator with a 2D discriminator that leverages conventional CNNs, where the two components are bridged by a geometry mapping layer. We further present a training scheme, based on auxiliary classifiers, to explicitly disentangle identity and expression attributes. Through quantitative and qualitative results on standard face datasets, we illustrate the benefits of our model and demonstrate that it outperforms competing state of the art methods in terms of decoupling and diversity.

研究の動機と目的

• データ駆動型の3次元顔面生成モデルを開発し、アイデンティティと表情の変動を効果的に分離する。
• 従来の因子化モデルの限界、例えばモデリングアーティファクトや表情転送における変動性の不足を解消する。
• 敵対的訓練を用いて、3次元顔面生成におけるサンプルの多様性とリアリズムを向上させる。
• アイデンティティと表情の属性を明示的に分離する、新しいアーキテクチャとトレーニング方式を導入する。

提案手法

• 3次元ジェネレータは、潜在コードから詳細な3次元顔面メッシュを生成し、現実的な顔面ジオメトリを合成する学習を行う。
• 2次元ディスクリミネータは、従来の畳み込みニューラルネットワーク（CNN）で実装され、生成された3次元顔面からレンダリングされた2次元画像のリアリズムを評価する。
• 幾何マッピング層は、3次元メッシュ座標を2次元画像空間に投影することで、ディスクリミネータへのフィードバックを確立し、3次元ジェネレータと2次元ディスクリミネータを接続する。
• アイデンティティと表情の属性の分離を最適化中に明示的に監視するための補助分類器ベースのトレーニング方式を導入する。
• 敵対的訓練フレームワークは、リアリズムと分離性を同時に最適化することで、一般化性能と多様性を向上させる。
• 本モデルは、標準的な3次元顔面データセット上でエンドツーエンドに訓練され、意味的で因子化された表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 従来の因子化アプローチと比較して、敵対的訓練は3次元顔面生成モデルにおけるアイデンティティと表情の分離性を向上させることができるか？
• RQ2 3次元ジェネレータと2次元ディスクリミネータを組み合わせることで、3次元顔面合成におけるリアリズムと多様性はどのように向上するか？
• RQ3 幾何マッピング層は、3次元空間と2次元空間間のトレーニング安定性と特徴の整合性をどの程度向上させるか？
• RQ4 補助分類器は、これらの属性に関する明示的ラベルなしに、アイデンティティと表情の分離を効果的にガイドできるか？
• RQ5 提案されたアーキテクチャは、分離品質とサンプルの多様性の両面で、既存の最先端手法を上回る性能を示すか？

主な発見

• 提案モデルは、標準ベンチマーク上での競合する最先端手法と比較して、アイデンティティと表情の属性の分離性が優れている。
• 本モデルは、特に表情転送タスクにおいて、より多様でアーティファクトの少ない3次元顔面サンプルを生成する。
• 定量的評価により、アイデンティティと表情の分離性を測る指標において顕著な向上が確認された。
• CNNを用いた2次元ディスクリミネータの使用により、完全に3次元ベースのディスクリミネータに比べ、より安定的かつ効果的な敵対的訓練が可能となった。
• 補助分類器ベースのトレーニング方式は、ペアラベルが不要な状態で、アイデンティティと表情の分離を成功裏に実現した。
• 定性的な結果から、一貫したアイデンティティを保ちつつ、制御可能な表情を有する高精細でリアリストな3次元顔面が得られていることが示された。