[論文レビュー] Generate Identity-Preserving Faces by Generative Adversarial Networks

Zhigang Li, Yupin Luo|arXiv (Cornell University)|Jun 10, 2017

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 8

ひとこと要約

本稿では、訓練済みの顔生成器とFaceNetを組み合わせることで、アイデンティティを保持した高品質な顔画像を生成するGANベースのフレームワークを提案する。本手法は、グリーディ探索とベクトル演算を用い、アイデンティティを維持したまま多様な顔貌的特徴を生成する。顔認識ネットワークの距離スコアの平均が0.64および0.60に達し、実際の同一人物ペairよりもアイデンティティ類似度が優れているという、最先端の性能を達成している。

ABSTRACT

Generating identity-preserving faces aims to generate various face images keeping the same identity given a target face image. Although considerable generative models have been developed in recent years, it is still challenging to simultaneously acquire high quality of facial images and preserve the identity. Here we propose a compelling method using generative adversarial networks (GAN). Concretely, we leverage the generator of trained GAN to generate plausible faces and FaceNet as an identity-similarity discriminator to ensure the identity. Experimental results show that our method is qualified to generate both plausible and identity-preserving faces with high quality. In addition, our method provides a universal framework which can be realized in various ways by combining different face generators and identity-similarity discriminator.

研究の動機と目的

• ターゲット人物のアイデンティティを保持したまま高品質な顔画像を生成する課題に対処すること。
• VAE（ぼやけた出力）と標準GAN（アイデンティティ損失）の限界を克服し、アイデンティティ保持顔生成において性能を向上させること。
• 任意の顔生成器と任意のアイデンティティ類似度評価基準を組み合わせられる汎用性の高いフレームワークを開発すること。
• 表情、眼鏡、ポーズなどの多様な顔貌的特徴を生成しつつ、アイデンティティの一貫性を維持できること。

提案手法

• 高精細な顔画像を生成するために、事前に訓練されたDCGANの生成器を活用する。
• 生成された顔がターゲットアイデンティティと一致することを保証するため、FaceNetを識別的アイデンティティ類似度指標として用いる。
• ターゲット画像とのアイデンティティ類似度を最大化する最適な入力を特定するために、潜在空間のベクトルに対してグリーディ探索戦略を適用する。
• 最適な潜在ベクトルを基に、潜在空間におけるベクトル演算を用いて多様な顔貌的特徴（例：口を開けた/閉じた、眼鏡、ポーズ）を生成する。
• 2段階の最適化プロセスを導入する：まず固定ステップサイズで探索を行い、次に適応的学習率を用いた微調整を行う。
• 異なる顔生成器とアイデンティティ類似度指標の相互交換を可能にすることで、フレームワークの汎用性を高める。

実験結果

リサーチクエスチョン

• RQ1 GANベースの生成器は、ターゲット人物のアイデンティティを保持したまま高品質な顔画像を生成できるか？
• RQ2 アイデンティティ固有の損失関数に依存せずに、画像生成中にアイデンティティ類似度を効果的に強制できるか？
• RQ3 潜在空間におけるベクトル演算により、アイデンティティの一貫性を保ちながら多様な顔貌的特徴を生成できるか？
• RQ4 提案されたフレームワークは、異なる顔生成器およびアイデンティティ類似度指標に対しても汎用的に適用可能か？

主な発見

• 本手法は、ぼやけた出力を示すVAEベースの手法よりも優れた性能を示し、最小限のぼやけを伴ったアイデンティティ保持顔画像を生成した。
• 2つの実験において、生成された顔画像とターゲット画像間の平均FaceNet距離は0.64および0.60であった。これは強力なアイデンティティ保持を示している。
• 生成された顔画像のアイデンティティ類似度は、実際の同一人物ペair（平均距離0.74）と同等であり、顕著な類似度を示した。
• フレームワークは汎用的であり、異なる生成器およびアイデンティティ類似度指標に容易に適応可能であった。
• 潜在ベクトルに対するグリーディ探索により、アイデンティティ類似度の高い顔画像を生成する入力を効果的に同定できた。