[論文レビュー] Attribute-Guided Face Generation Using Conditional CycleGAN

Yongyi Lu, Yu‐Wing Tai+1 more|arXiv (Cornell University)|May 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 22

ひとこと要約

本論文では、属性およびアイデンティティをガイドする条件付きCycleGANを提案し、ユーザーが指定した属性（例：性別、髪の色）やアイデンティティ特徴量を用いて、低解像度入力から高解像度顔画像を合成可能にする。条件付きベクトルと顔認識ネットワークを統合することで、教師ありデータなしに、顔の超解像、顔の交換、前方化において、写真のようにリアルでアイデンティティを保持した結果を達成する。

ABSTRACT

We are interested in attribute-guided face generation: given a low-res face input image, an attribute vector that can be extracted from a high-res image (attribute image), our new method generates a high-res face image for the low-res input that satisfies the given attributes. To address this problem, we condition the CycleGAN and propose conditional CycleGAN, which is designed to 1) handle unpaired training data because the training low/high-res and high-res attribute images may not necessarily align with each other, and to 2) allow easy control of the appearance of the generated face via the input attributes. We demonstrate impressive results on the attribute-guided conditional CycleGAN, which can synthesize realistic face images with appearance easily controlled by user-supplied attributes (e.g., gender, makeup, hair color, eyeglasses). Using the attribute image as identity to produce the corresponding conditional vector and by incorporating a face verification network, the attribute-guided network becomes the identity-guided conditional CycleGAN which produces impressive and interesting results on identity transfer. We demonstrate three applications on identity-guided conditional CycleGAN: identity-preserving face superresolution, face swapping, and frontal face generation, which consistently show the advantage of our new method.

研究の動機と目的

• ペaired学習データに依存せず、低解像度入力から高品質で属性制御可能な顔生成を実現すること。
• ペairedデータに依存せず、顔の超解像および顔の交換においてアイデンティティの保持を実現すること。
• ユーザーが提供する属性またはアイデンティティ埋め込みを用いて、柔軟な制御が可能な条件付きCycleGANフレームワークを構築すること。
• ポーズの変化や部分的遮蔽の条件下でも、アイデンティティ転送タスクにおいて堅牢な性能を示すこと。
• 人為的な介入なしに、側面からの入力から一貫した前方顔画像をエンドツーエンドに生成すること。

提案手法

• 生成器および識別器ネットワークの両方に条件付き特徴ベクトルを入力として追加するように、CycleGANの adversarial loss を変更する。
• アイデンティティガイドド生成のための条件付き入力として使用するため、事前学習済みのLight-CNNネットワークを用いてアイデンティティ特徴ベクトルを抽出する。
• 訓練中にアイデンティティの一貫性を強制するために、顔認識ネットワークを補助識別器として統合する。
• ペアの学習サンプルが不要なため、サイクル一貫性損失を用いてドメイン間の双対写像を学習する。
• 顔のアイデンティティ保持型超解像、顔の交換、前方顔画像生成の3つの応用にモデルを適用する。
• 条件付きベクトルの線形補間を用いて、顔の属性やアイデンティティの間で滑らかな遷移を生成する。

実験結果

リサーチクエスチョン

• RQ1 条件付きCycleGANフレームワークは、低解像度入力から、正確な属性制御を伴いながら、アイデンティティを保持した高解像度顔画像を生成できるか？
• RQ2 モデルは、異なるポーズや部分的遮蔽の下でも、顔のアイデンティティを効果的に転送できるか？
• RQ3 顔認識損失を補助識別器に組み込むことで、顔交換結果における写真的リアリズムとアイデンティティ忠実度が向上するか？
• RQ4 モデルは、非前方の低解像度入力から、人為的介入なしに一貫した前方顔画像をエンドツーエンドに生成できるか？
• RQ5 条件付きベクトルの補間によって、学習済みの組み合わせを超えた未観測の属性やアイデンティティの組み合わせに対しても、モデルの一般化性能はどの程度高いか？

主な発見

• アイデンティティ保持型超解像において、写真のようにリアルな顔画像生成を達成しており、低解像度入力が異なる人物のものであっても、入力のアイデンティティを保持している。
• 顔の交換結果は、顔の特徴（目、まゆ、髪）を高精度に転送しており、顔のランドマーク検出やブレンド処理を手動で行う必要がなく、非常にリアルである。
• 補助識別器に顔認識損失を組み込むことで、まゆや目の輪郭といった微細な特徴の修正が図られ、知覚的に優れた結果が得られた。
• 条件付きベクトルの線形補間により、顔の属性やアイデンティティの間で視覚的に妥当で滑らかな遷移が得られ、記憶の単なる再現を超えた良好な一般化性能を示している。
• 人為的介入なしに、側面からの入力から前方顔画像をエンドツーエンドに生成でき、従来のワープやブレンドに依存する手法を凌駆した。
• ポーズの変化や部分的遮蔽の下でもモデルは堅牢に動作し、困難な条件下でも顔のアイデンティティ保持が強く維持されている。