[论文解读] CDE-GAN: Cooperative Dual Evolution Based Generative Adversarial Network

Shiming Chen, Wenjie Wang+4 more|arXiv (Cornell University)|Aug 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 54被引用 5

一句话总结

CDE-GAN 提出了一种合作式双演化框架，通过使用不同的进化算法分别演化生成器和判别器，以解决 GAN 中的模式崩溃和训练不稳定性问题。通过引入双变异多样性并采用 Soft 机制平衡生成器与判别器的更新，CDE-GAN 在合成数据集和真实世界图像基准上实现了更优的样本多样性与质量，且在更少的训练步数下超越了当前最先进方法。

ABSTRACT

Generative adversarial networks (GANs) have been a popular deep generative model for real-world applications. Despite many recent efforts on GANs that have been contributed, mode collapse and instability of GANs are still open problems caused by their adversarial optimization difficulties. In this paper, motivated by the cooperative co-evolutionary algorithm, we propose a Cooperative Dual Evolution based Generative Adversarial Network (CDE-GAN) to circumvent these drawbacks. In essence, CDE-GAN incorporates dual evolution with respect to the generator(s) and discriminators into a unified evolutionary adversarial framework to conduct effective adversarial multi-objective optimization. Thus it exploits the complementary properties and injects dual mutation diversity into training to steadily diversify the estimated density in capturing multi-modes and improve generative performance. Specifically, CDE-GAN decomposes the complex adversarial optimization problem into two subproblems (generation and discrimination), and each subproblem is solved with a separated subpopulation (E-Generator} and E-Discriminators), evolved by its own evolutionary algorithm. Additionally, we further propose a Soft Mechanism to balance the trade-off between E-Generators and E-Discriminators to conduct steady training for CDE-GAN. Extensive experiments on one synthetic dataset and three real-world benchmark image datasets demonstrate that the proposed CDE-GAN achieves a competitive and superior performance in generating good quality and diverse samples over baselines. The code and more generated results are available at our project homepage: https://shiming-chen.github.io/CDE-GAN-website/CDE-GAN.html.

研究动机与目标

• 解决由对抗优化困难引起的 GAN 训练中长期存在的挑战，包括模式崩溃与不稳定性。
• 通过将对抗训练重新构塑为多目标优化问题，克服单目标 GAN 优化的局限性。
• 提出一种合作共进化框架，通过互补的变异策略并行演化生成器与判别器。
• 平衡生成器与判别器之间的训练动态，防止一方占主导地位，确保稳定且有效的学习。
• 通过双演化种群动态提升生成样本的多样性与质量，从而改善生成性能。

提出的方法

• CDE-GAN 将对抗训练分解为两个子问题：生成器演化（E-Generators）与判别器演化（E-Discriminators），每个均由独立的进化算法管理。
• 双演化在生成器与判别器种群中引入互补的变异多样性，促进对多个数据模式的探索，改善密度估计。
• 该框架将对抗训练视为多目标优化问题，多个判别器为生成器提供信息丰富的梯度，从而稳定训练过程。
• 引入 Soft 机制以弱化判别器的最大化目标，防止其过于强大，避免出现‘打地鼠’式问题。
• 该方法采用统一的进化对抗框架，通过共享的反馈与选择机制协调 E-Generators 与 E-Discriminators。
• 训练过程包含迭代更新：E-Generators 生成样本，E-Discriminators 评估样本，两支种群根据适应度评估与选择机制进行演化。

实验结果

研究问题

• RQ1 通过增强估计数据分布的多样性，生成器与判别器的合作式双演化是否能缓解 GAN 中的模式崩溃？
• RQ2 与单判别器 GAN 相比，通过多个判别器实现的多目标优化如何改善梯度反馈并稳定训练？
• RQ3 Soft 机制在多大程度上平衡了生成器与判别器的更新，防止训练退化并确保稳定收敛？
• RQ4 与现有 SOTA GAN 相比，双演化策略是否显著减少了达到高质量、多样化样本所需的训练步数？
• RQ5 所提出的框架是否能在包括合成数据集与真实世界图像基准在内的多样化数据集上实现良好泛化？

主要发现

• CDE-GAN 在 CIFAR-10、LSUN-Bedrooms 和 CelebA 上实现了最先进的 Fréchet Inception Distance (FID) 分数，证明其样本质量与多样性更优。
• 在 2D 混合 8 个高斯分布的数据集上，CDE-GAN 有效捕捉了全部八个模式，未出现模式崩溃，而基线 GAN 则未能覆盖所有模式。
• 如图 5 所示，CDE-GAN 达到相当或更优性能所需的训练步数显著少于基线方法，表明收敛速度更快。
• 每轮生成器迭代的时间成本随判别器数量增加而上升：单张 GPU 上分别为 0.039s（I=1）、0.079s（I=2）、0.158s（I=4）与 0.303s（I=8），但更高的样本质量使其成本合理。
• Soft 机制有效防止判别器主导训练过程，稳定训练，表现为性能一致且训练病理现象减少。
• 大量消融实验表明，双变异多样性与多目标优化是 CDE-GAN 避免模式崩溃并提升泛化能力的关键因素。