[論文レビュー] CDE-GAN: Cooperative Dual Evolution Based Generative Adversarial Network

Shiming Chen, Wenjie Wang+4 more|arXiv (Cornell University)|Aug 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 54被引用数 5

ひとこと要約

CDE-GANは、生成器と識別器を別々の進化的アルゴリズムで別々に進化させる協調的二重進化フレームワークを提案し、GANにおけるモード崩壊と学習不安定性を解決する。二重突然変異の多様性を組み込み、生成器と識別器の更新をバランスさせるソフトメカニズムを採用することで、合成および実世界の画像ベンチマークにおいて、より優れたサンプルの多様性と品質を達成し、より少ない学習ステップで最先端の手法を上回る性能を発揮する。

ABSTRACT

Generative adversarial networks (GANs) have been a popular deep generative model for real-world applications. Despite many recent efforts on GANs that have been contributed, mode collapse and instability of GANs are still open problems caused by their adversarial optimization difficulties. In this paper, motivated by the cooperative co-evolutionary algorithm, we propose a Cooperative Dual Evolution based Generative Adversarial Network (CDE-GAN) to circumvent these drawbacks. In essence, CDE-GAN incorporates dual evolution with respect to the generator(s) and discriminators into a unified evolutionary adversarial framework to conduct effective adversarial multi-objective optimization. Thus it exploits the complementary properties and injects dual mutation diversity into training to steadily diversify the estimated density in capturing multi-modes and improve generative performance. Specifically, CDE-GAN decomposes the complex adversarial optimization problem into two subproblems (generation and discrimination), and each subproblem is solved with a separated subpopulation (E-Generator} and E-Discriminators), evolved by its own evolutionary algorithm. Additionally, we further propose a Soft Mechanism to balance the trade-off between E-Generators and E-Discriminators to conduct steady training for CDE-GAN. Extensive experiments on one synthetic dataset and three real-world benchmark image datasets demonstrate that the proposed CDE-GAN achieves a competitive and superior performance in generating good quality and diverse samples over baselines. The code and more generated results are available at our project homepage: https://shiming-chen.github.io/CDE-GAN-website/CDE-GAN.html.

研究の動機と目的

• 敵対的最適化の困難さに起因する、GAN学習における継続的な課題、特にモード崩壊と不安定性を解決すること。
• 単一目的最適化の限界を克服するため、敵対的学習を多目的最適化問題に再定式化すること。
• 生成器と識別器を並列に進化させる協調的共同進化フレームワークを導入し、補完的な突然変異戦略を採用すること。
• 生成器と識別器の間の学習ダイナミクスをバランスさせ、一方が優位になるのを防ぎ、安定的かつ効果的な学習を確保すること。
• 二重進化的集団ダイナミクスを通じて、生成サンプルの多様性と品質を向上させ、生成性能を向上させること。

提案手法

• CDE-GANは敵対的学習を二つの部分問題に分解する：生成器の進化（E-Generators）と識別器の進化（E-Discriminators）、それぞれが別個の進化的アルゴリズムによって管理される。
• 二重進化により、生成器と識別器の両方の集団に補完的な突然変異の多様性が導入され、複数のデータモードの探索が可能となり、密度推定の精度が向上する。
• フレームワークは敵対的学習を多目的最適化問題として扱い、複数の識別器が生成器に情報を豊富な勾配を提供することで、学習の安定化を実現する。
• 最大化目的を弱めるためのソフトメカニズムが導入され、識別器があまりに強力になりすぎることを防ぎ、「ホエッパー・オブ・モール」問題を回避する。
• E-GeneratorsとE-Discriminatorsを統合された進化的敵対フレームワークで調整し、共有のフィードバックと選択メカニズムを通じて連携を図る。
• 学習は反復的な更新を含み、E-Generatorsがサンプルを生成し、E-Discriminatorsがそれらを評価し、両方の集団が適合度評価と選択に基づいて進化する。

実験結果

リサーチクエスチョン

• RQ1 生成器と識別器の協調的二重進化は、推定されたデータ分布における多様性の向上によって、GANにおけるモード崩壊を緩和できるか？
• RQ2 複数の識別器による多目的最適化は、単一識別器GANと比較して、勾配フィードバックの質を向上させ、学習を安定化させるか？
• RQ3 ソフトメカニズムは、生成器と識別器の更新をどの程度バランスさせ、学習の劣化を防ぎ、安定した収束を保証できるか？
• RQ4 二重進化戦略は、既存のSOTA GANと比較して、高品質で多様なサンプルを達成するための学習ステップ数を削減できるか？
• RQ5 提案されたフレームワークは、合成データおよび実世界の画像ベンチマークを含む多様なデータセットに一般化可能か？

主な発見

• CDE-GANは、CIFAR-10、LSUN-Bedrooms、CelebAで最先端のFréchet Inception Distance（FID）スコアを達成し、優れたサンプル品質と多様性を示した。
• 2Dの8つのガウス分布の混合データセットでは、CDE-GANはモード崩壊を起こさずに全8つのモードを正しく捉えたのに対し、ベースラインのGANはすべてのモードをカバーできなかった。
• 図5に示すように、CDE-GANはベースラインと同等またはより良い性能に到達するまでの学習ステップ数が著しく少ないことが判明し、収束が速いことが示された。
• 1つのGPU上で、識別器の数に応じて生成器イテレーションあたりの時間コストは増加する：I=1で0.039秒、I=2で0.079秒、I=4で0.158秒、I=8で0.303秒。しかし、向上したサンプル品質はそのコストを正当化する。
• ソフトメカニズムは識別器の優位性を効果的に防止し、学習の安定性を高めたことが、一貫した性能と訓練病理の低減によって裏付けられた。
• 広範なアブレーションスタディにより、二重突然変異の多様性と多目的最適化が、CDE-GANがモード崩壊を回避し一般化性能を向上させる鍵要因であることが確認された。