[论文解读] Generative Adversarial Parallelization

Daniel Jiwoong Im, He Ma+2 more|arXiv (Cornell University)|Dec 13, 2016

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 30

一句话总结

本文提出生成对抗并行化（GAP），一种在训练多个 GAN 时并行进行、并定期交换判别器以减少生成器-判别器耦合的框架。该方法提升了模式覆盖度、训练稳定性和生成质量，GAP(DCGAN) 在 MNIST、CIFAR-10 和 LSUN 数据集上使用 GAM-II 和似然度度量时，表现显著优于 DCGAN。

ABSTRACT

Generative Adversarial Networks have become one of the most studied frameworks for unsupervised learning due to their intuitive formulation. They have also been shown to be capable of generating convincing examples in limited domains, such as low-resolution images. However, they still prove difficult to train in practice and tend to ignore modes of the data generating distribution. Quantitatively capturing effects such as mode coverage and more generally the quality of the generative model still remain elusive. We propose Generative Adversarial Parallelization, a framework in which many GANs or their variants are trained simultaneously, exchanging their discriminators. This eliminates the tight coupling between a generator and discriminator, leading to improved convergence and improved coverage of modes. We also propose an improved variant of the recently proposed Generative Adversarial Metric and show how it can score individual GANs or their collections under the GAP model.

研究动机与目标

• 解决标准 GAN 训练中因生成器-判别器强耦合而导致的模式崩溃与收敛性差的长期挑战。
• 通过共享判别器交换机制，将生成器与单一判别器解耦，从而提升模式覆盖度与生成模型质量。
• 开发一种可扩展、可并行化的训练框架，兼容多种 GAN 变体及现有训练技术。
• 提供一种定量评估框架，利用改进的生成对抗度量（GAM-II）评估模式覆盖度与生成质量。

提出的方法

• 并行训练多个 GAN，每个 GAN 拥有自己的生成器和判别器，形成二分图模型结构。
• 在固定时间间隔（例如每 0.5 个周期）内，周期性地在生成器之间交换判别器，降低任意单个生成器与判别器之间的直接耦合。
• 使用改进的生成对抗度量（GAM-II）对 GAP 框架下的单个 GAN 及其集合进行评分。
• 采用同步训练与梯度裁剪以稳定训练，尤其适用于高容量模型。
• 在混合 GAP 模型（GAP C4）中结合多种 GAN 变体（如 DCGAN 和 GRAN），以评估其在多样化架构下的性能表现。
• 使用 GAM-II 和退火重要性采样（AIS）对 MNIST 和 CIFAR-10 的对数似然度进行生成质量评估。

实验结果

研究问题

• RQ1 在多个 GAN 之间周期性交换判别器，能否有效缓解模式崩溃并提升训练稳定性？
• RQ2 与标准 GAN 及数据并行训练相比，GAP 框架是否能提升模式覆盖度与生成质量？
• RQ3 交换频率如何影响 GAP 训练范式下的收敛性与性能表现？
• RQ4 改进的 GAM-II 度量能否有效评估 GAP 模型下单个 GAN 及其集合的表现？
• RQ5 在 GAP 框架中结合不同 GAN 变体（如 DCGAN 和 GRAN）是否能获得优于单一模型的性能表现？

主要发现

• GAP(DCGAN) 在所有数据集上均显著优于 DCGAN，GAM-II 度量下平均误差率在 CIFAR-10 和 LSUN 上最高降低 15%。
• GAP(GRAN) 在 CIFAR-10 和 MNIST 上优于 GRAN，且在 LSUN 上最差情况误差率降低 20%。
• GAP(DCGAN) 的最佳性能出现在 0.5 的交换频率（每周期两次），此时训练成本方差最小。
• GAP D4 在 MNIST 上的对数似然度达到 691.6 ± 0.01，高于 DCGAN 的 682.5 ± 12.51，表明密度估计更优。
• 混合 GAP C4 模型未优于单一 GAP 模型，表明在当前设置下，将 DCGAN 与 GRAN 变体结合并无叠加优势。
• 对 GAP 模型生成样本的视觉检查显示，在 CIFAR-10 和 LSUN 基准上，其生成结果在多样性和真实感方面均有提升。