[论文解读] Fictitious GAN: Training GANs with Historical Models

Hao Ge, Xia Yin+3 more|arXiv (Cornell University)|Mar 23, 2018

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

Fictitious GAN 通过使用历史生成器和判别器模型的混合来提出一种生成对抗网络的新训练方法，以稳定训练并改善收敛性。通过基于过去模型输出的平均值来更新每个网络，该方法确保生成器的平均输出渐近地匹配真实数据分布，从而解决模式崩溃和振荡等常见失败模式。

ABSTRACT

Generative adversarial networks (GANs) are powerful tools for learning generative models. In practice, the training may suffer from lack of convergence. GANs are commonly viewed as a two-player zero-sum game between two neural networks. Here, we leverage this game theoretic view to study the convergence behavior of the training process. Inspired by the fictitious play learning process, a novel training method, referred to as Fictitious GAN, is introduced. Fictitious GAN trains the deep neural networks using a mixture of historical models. Specifically, the discriminator (resp. generator) is updated according to the best-response to the mixture outputs from a sequence of previously trained generators (resp. discriminators). It is shown that Fictitious GAN can effectively resolve some convergence issues that cannot be resolved by the standard training approach. It is proved that asymptotically the average of the generator outputs has the same distribution as the data samples.

研究动机与目标

• 为解决标准对抗训练中常见的收敛问题，如模式崩溃和振荡。
• 将 GAN 训练形式化为双人零和博弈，并应用博弈论原理以提高稳定性。
• 开发一种利用历史模型指导当前更新的训练方法，以增强多样性与分布匹配。
• 在所提出的框架下，理论上证明生成样本的平均值收敛于真实数据分布。
• 提供一种低复杂度、可即插即用的元算法，与现有 GAN 架构和优化器兼容。

提出的方法

• 判别器基于先前训练的生成器输出的均匀混合的最优响应进行更新。
• 生成器基于先前训练的判别器输出的均匀混合的最优响应进行更新。
• 在每个训练步骤中，模型使用过去生成器和判别器参数的运行平均值来形成历史混合。
• 该方法基于博弈论中的虚构博弈，其中参与者对对手过去策略的经验分布做出最优响应。
• 优化目标被重新表述为最小化平均生成分布与数据分布之间的 Jensen-Shannon 散度。
• 该方法使用标准深度学习框架实现，采用 Adam 优化，无需重新训练或对模型进行加权平均。

实验结果

研究问题

• RQ1 基于虚构博弈的博弈论方法是否能改善 GAN 训练的收敛性和稳定性？
• RQ2 使用历史模型的混合是否能带来更好的分布匹配并减少模式崩溃？
• RQ3 在所提出的训练方案下，生成器输出的平均值是否能收敛到真实数据分布？
• RQ4 与标准 GAN 训练相比，该方法在训练动态和样本质量方面表现如何？
• RQ5 虚构训练机制是否与现有 GAN 架构和优化器兼容，且不增加计算开销？

主要发现

• 生成器输出的平均值收敛到真实数据分布，因为平均生成分布与数据分布之间的 Jensen-Shannon 散度趋于零。
• 判别器的输出收敛到最优函数 $ D^*(\mathbf{x}) = \frac{p_d(\mathbf{x})}{p_d(\mathbf{x}) + p_g^*(\mathbf{x})} $，其中 $ p_g^* = p_d $。
• 该方法达到 GAN 博弈的唯一纳什均衡，此时生成器输出匹配数据分布，判别器对所有输入的输出为 0.5。
• 在合成数据和真实数据集（MNIST、CIFAR-10、Celeb-A）上的实证结果表明，与标准 GAN 训练相比，该方法在训练稳定性和样本多样性方面均有提升。
• 该方法无需额外超参数或复杂的模型平均，仅通过历史模型的均匀平均实现，计算开销极低。
• 理论分析证实，在温和正则性条件下，即使标准梯度方法失效，训练过程仍能收敛到最优解。