[論文レビュー] FaceFeat-GAN: a Two-Stage Approach for Identity-Preserving Face Synthesis

Yujun Shen, Bolei Zhou+2 more|arXiv (Cornell University)|Dec 4, 2018

Face recognition and analysis参考文献 37被引用数 29

ひとこと要約

FaceFeat-GANは、アイデンティティを保持する顔生成のための2段階GAMフレームワークを提案する。まず特徴空間で多様な顔の特徴を生成し、その後それらの特徴から高精細な画像をレンダリングする。特徴領域と画像領域の両方でジェネレータとディスクラミネータの二重レベルの敵対的競争を導入することで、アイデンティティ保持性、画像品質、多様性の面で最先端の性能を達成し、LFWやその他のベンチマークで、ユーザースタディスコア22.4%、類似度スコア0.693を記録して、先行手法を上回った。

ABSTRACT

The advance of Generative Adversarial Networks (GANs) enables realistic face image synthesis. However, synthesizing face images that preserve facial identity as well as have high diversity within each identity remains challenging. To address this problem, we present FaceFeat-GAN, a novel generative model that improves both image quality and diversity by using two stages. Unlike existing single-stage models that map random noise to image directly, our two-stage synthesis includes the first stage of diverse feature generation and the second stage of feature-to-image rendering. The competitions between generators and discriminators are carefully designed in both stages with different objective functions. Specially, in the first stage, they compete in the feature domain to synthesize various facial features rather than images. In the second stage, they compete in the image domain to render photo-realistic images that contain high diversity but preserve identity. Extensive experiments show that FaceFeat-GAN generates images that not only retain identity information but also have high diversity and quality, significantly outperforming previous methods.

研究の動機と目的

• 高品質で多様なアイデンティティ保持顔生成を実現するためのバランスをとる課題に対処すること。
• アイデンティティ制約を課した際の多様性に欠ける問題を抱える単一段階GAMの限界を克服すること。
• 1対1のマッピングを強制することで多様性が制限されるピxls単位の監視手法の限界を改善すること。
• 中間特徴空間を、アイデンティティと属性の変化を分離可能な表現として用いることの可能性を検討すること。
• 特徴領域と画像領域の両方で競争する2段階の敵対的訓練方式を設計し、リアルさと多様性を向上させること。

提案手法

• モデルは2段階のアーキテクチャを採用する：まず、複数の特徴ジェネレータ（{G_i^f}）がランダムノイズから多様な顔の特徴（例：ポーズ、表情、年齢）を合成する。
• 次に、画像ジェネレータ（G^I）が結合された特徴表現を、ピxls単位の監視を用いて、写真のようにリアルな顔画像にマッピングする。
• 2つのディスクラミネータを用いる：D_i^fは各G_i^fと特徴領域で競争し、現実的な特徴表現を保証する。一方、D^IはG^Iと画像領域で競争し、リアルさを確保する。
• 4つの損失項を統合する：アイデンティティ損失（φ_id）、特徴レベルの敵対的損失（φ^f）、画像レベルの敵対的損失（φ^I）、再構成損失（φ_rec）。
• 特徴の多様性は、特徴領域におけるGAN競争を通じて、モード崩壊を回避しながら、多様な出力を生成するように特徴ジェネレータを訓練することで向上する。
• 3DMMに基づくパラメトリック表現を用いて、アイデンティティと属性要因を分離し、多様な顔の属性を制御可能に生成できるようにする。

実験結果

リサーチクエスチョン

• RQ1 単一段階GAMと比較して、2段階の生成フレームワークはアイデンティティ保持顔生成における画像品質と多様性を向上させることができるか？
• RQ2 画像生成の前段階で特徴領域で競争させることで、アイデンティティを保持したまま多様性が向上するか？
• RQ3 ピxls単位の監視を2段階目に効果的に適用しても、1段階目の多様性が損なわれないか？
• RQ4 特徴領域と画像領域の両方で競争する2段階の敵対的訓練は、単一段階の訓練と比較して、アイデンティティ保持性とリアルさの面で優れているか？
• RQ5 分離された特徴表現は、合成顔における制御可能で多様な属性変化をどの程度可能にするか？

主な発見

• FaceFeat-GANは、アイデンティティ保持顔生成において、FaceID-GAN（18.0%）やPIM（19.2%）を上回るユーザースタディスコア22.4%を達成した。
• LFWデータセットでは類似度スコア0.693を記録し、DR-GAN（0.548）、FF-GAN（0.592）、TP-GAN（0.625）を上回り、優れたアイデンティティ保持性を示した。
• 多様性スコア0.63は、実際の特徴分布（平均0、分散1）に近く、モデルがモード崩壊を避けながら高品質な多様な特徴を生成していることを確認した。
• アブレーションスタディでは、アイデンティティ損失（φ_id）を削除すると類似度が0.246に低下し、アイデンティティ保持性に不可欠であることが示された。
• 特徴レベルの敵対的損失（φ^f）を削除すると多様性スコアはわずか0.05にまで低下し、特徴空間内での競争が多様性に不可欠であることが明らかになった。
• 完全なモデルは再構成評価でユーザースタディスコア33.2%を達成し、高い画像品質を確認した。一方、画像レベルのGANや再構成損失を欠如させたモデルは品質が著しく低下した。