[論文レビュー] Pipeline Generative Adversarial Networks for Facial Images Generation with Multiple Attributes

Ziqiang Zheng, Zhibin Yu+3 more|arXiv (Cornell University)|Nov 29, 2017

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 3

ひとこと要約

本論文は、2段階の生成的対抗ネットワークであるPipeline GAN（Pip-GAN）を提案する。この手法は、ポーズ生成器を段階的に適用した後、表情生成器を適用することで、顔のポーズと表情という複数の属性を有する高精細な顔画像を生成する。本手法は、段階的損失、勾配ペナルティ、並列分類器を用いることで、KDEFデータセット上で単一のGANや代替的なパイプライン構造を上回る性能を発揮し、より明確な顔の細部と高い忠実度を実現した。

ABSTRACT

Generative Adversarial Networks are proved to be efficient on various kinds of image generation tasks. However, it is still a challenge if we want to generate images precisely. Many researchers focus on how to generate images with one attribute. But image generation under multiple attributes is still a tough work. In this paper, we try to generate a variety of face images under multiple constraints using a pipeline process. The Pip-GAN (Pipeline Generative Adversarial Network) we present employs a pipeline network structure which can generate a complex facial image step by step using a neutral face image. We applied our method on two face image databases and demonstrate its ability to generate convincing novel images of unseen identities under multiple conditions previously.

研究の動機と目的

• 標準のGANでは困難な、顔のポーズや表情といった複数の属性を同時に生成する課題に対処すること。
• 複雑なタスクを2つの管理しやすい段階（まずポーズ、次に表情）に分解することで、画像生成品質を向上させること。
• 符号化層に条件付きベクトルを導入し、並列分類器ディスクライマーを用いることで、特徴の学習と生成器の制御を強化すること。
• パイプライン構造（PE対EP）およびアブレーション要因（勾配ペナルティ、段階的損失）が画像忠実度と細部に与える影響を評価すること。
• 顔画像解析タスクにおけるデータ拡張のための強固なソリューションを提供すること。ただし、属性の多様性が限られるデータセットを想定する。

提案手法

• モデルは2段階のパイプラインを採用する。まず、ポーズ生成器（Gp）が中立的な顔をさまざまなポーズに変換し、次に、表情生成器（Ge）がそのポーズ画像に対して目的の表情を適用する。
• 各生成器は専用のディスクライマー（Dp 用ポーズ、De 用表情）とペアを成し、順次接続された2つの独立したGANブランチを形成する。
• 各生成器の潜在コード層に条件付きベクトルを挿入することで、特定の属性（ポーズまたは表情）を制御し、正確な生成を促進する。
• エンコーダ・デコーダネットワークのボトルネック部に並列分類器ディスクライマーを追加し、特徴抽出を強化し、関連する属性を分離する。
• 訓練の安定化と画像品質の向上を図るために、段階的損失と勾配ペナルティを統合し、全損失関数は敵対的損失、再構成損失、正則化項を組み合わせる。
• 2つのパイプライン順序（PE：ポーズを最初に、EP：表情を最初に）を評価し、構造的およびコンponentレベルでのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 2段階のGANパイプラインは、単一のGANよりも顔画像に複数の属性（例：ポーズと表情）を効果的に生成できるか？
• RQ2 属性適用の順序（ポーズを最初に vs. 表情を最初に）が、画像品質や細部の忠実度に顕著な影響を与えるか？
• RQ3 勾配ペナルティや段階的損失といった追加コンponentsが、パイプラインGANの性能をどのように向上させるか？
• RQ4 提案されたモデルは、多様な属性の組み合わせ下で、未学習のアイデンティティに対しても現実的で高品質な画像をどれほど効果的に生成できるか？
• RQ5 本モデルは、属性の多様性が限られる顔画像データセットに対して、効果的なデータ拡張ツールとして機能できるか？

主な発見

• PE（ポーズを最初に）構造がEP（表情を最初に）構造を上回り、目、歯、口といった顔の細部がより明確で正確な画像を生成した。
• 全コンponents（PE + 勾配ペナルティ + 段階的損失 + 並列分類器）を備えたPip-GANが、すべての指標で最良の性能を発揮し、単一GANおよびベースラインパイプラインモデルを上回った。
• Pix2pixは競争力のあるPSNRを達成したが、MSEおよびR-MSEでは劣り、特に表情生成においてぼやけた・歪んだ出力が生じた。
• パイプラインアプローチにより、単一GANモデルに比べて顔画像の品質が顕著に向上し、PE構造は極端なポーズや表情に対しても妥当な顔の特徴を生成できた。
• 勾配ペナルティと段階的損失の統合により、画像忠実度が向上し、モード崩壊も顕著に減少した。
• モデルは1入力あたり24種類の異なる顔画像（5つのポーズと7つの表情の組み合わせ）を効果的に生成し、KDEFデータセット上でデータ拡張の可能性を実証した。