[論文レビュー] Evolutionary Generative Adversarial Networks

Chaoyue Wang, Chang Xu+2 more|arXiv (Cornell University)|Mar 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 1被引用数 19

ひとこと要約

本稿では、複数の敵対的目的を突然変異操作として用いる進化的計算を用いて、GANの学習を安定化する新しいフレームワークである進化的生成対抗ネットワーク（E-GAN）を提案する。品質と多様性に基づいて最も適応度の高い生成器のみを選択することで、個々の損失関数の制限を克服し、複数のデータセットで学習安定性と最先端の画像生成性能を達成した。

ABSTRACT

Generative adversarial networks (GAN) have been effective for learning generative models for real-world data. However, existing GANs (GAN and its variants) tend to suffer from training problems such as instability and mode collapse. In this paper, we propose a novel GAN framework called evolutionary generative adversarial networks (E-GAN) for stable GAN training and improved generative performance. Unlike existing GANs, which employ a pre-defined adversarial objective function alternately training a generator and a discriminator, we utilize different adversarial training objectives as mutation operations and evolve a population of generators to adapt to the environment (i.e., the discriminator). We also utilize an evaluation mechanism to measure the quality and diversity of generated samples, such that only well-performing generator(s) are preserved and used for further training. In this way, E-GAN overcomes the limitations of an individual adversarial training objective and always preserves the best offspring, contributing to progress in and the success of GANs. Experiments on several datasets demonstrate that E-GAN achieves convincing generative performance and reduces the training problems inherent in existing GANs.

研究の動機と目的

• 従来のGANにおける学習不安定性とモード崩壊を解消すること。これは、単一の敵対的目的に依存するため生じる。
• 複数の距離尺度（例：JSD、WGAN、LSGAN）を動的に組み合わせることで、多様な突然変異戦略としての性能を向上させること。
• さまざまなネットワークアーキテクチャおよびハイパーパrameter設定において、学習の頑健性を向上させること。
• 生成器の品質を評価し、反復ごとに上位のモデルのみを保持する、集団ベースの進化的フレームワークを構築すること。

提案手法

• E-GANは、識別器が動的環境として機能し、適応的損失関数を提供する進化的プロセスとしてGAN学習を定式化する。
• 最小最大、最小二乗、WGAN、JSDなどの複数の敵対的目的が、異なる突然変異操作として用いられ、多様な後継生成器が生成される。
• 各生成器の後継体は、現在の識別器が本物と偽物のサンプルを区別できる能力に基づく品質および多様性指標によって評価される。
• 現実的で多様なサンプルを生成する最高の性能を発揮する生成器のみが、次世代の進化に選択され、『適者生存』の原則に従う。
• 各イテレーションで識別器を再学習させることで、進化する生成器集団に適応し、動的で相互に作用する敵対フィードバックループを維持する。
• ネットワーク容量の低下や正規化層の削除に対しても性能を維持できるため、アーキテクチャの頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 進化的フレームワークを用いて複数の敵対的訓練目的を組み合わせることで、GANの学習安定性を向上させ、モード崩壊を軽減できるか？
• RQ2 性能指標に基づく生成器の進化的選択が、生成されたサンプルの品質と多様性にどのように影響を与えるか？
• RQ3 E-GANは、さまざまなネットワークアーキテクチャおよびハイパーパrameter設定において、どの程度性能を維持できるか？
• RQ4 進化的アプローチにより、生成画像における潜在空間の連続性および意味的補間性が向上するか？

主な発見

• E-GANはLSUN、CelebA、CIFAR-10の各データセットで最先端の画像生成性能を達成し、高精細で多様なサンプルを生成した。
• LSUNベッドルームデータセットでは、生成器および識別器からバッチ正規化を削除しても、128×128の高品質な画像を効果的に生成できた。これは、アーキテクチャの頑健性を示している。
• CelebAでは、潜在空間における滑らかな線形補間が可能であり、性別、年齢、表情といった属性の意味的な分離が行われ、モード崩壊も発生しなかった。
• DCGAN、LSGAN、WGAN、WGAN-GPと比較して、限られた容量を持つアーキテクチャを含むすべてのテストアーキテクチャでE-GANが優れた性能を示し、より優れた学習安定性を示した。
• 進化的選択による複数損失関数の動的切り替えにより、勾配消失問題を軽減し、劣悪な均衡点への収束を回避した。
• 実験の結果、ヒューリスティックな突然変異の数は時間経過とともに減少したが、E-GANはより効果的で多様な突然変異戦略を優先することで、性能を維持した。