[论文解读] Generalization and Equilibrium in Generative Adversarial Nets (GANs)

Sanjeev Arora, Rong Ge+3 more|arXiv (Cornell University)|Mar 2, 2017

Generative Adversarial Networks and Image Synthesis被引用 211

一句话总结

论文表明在标准度量下 GAN 泛化可能失败，但在神经网络距离下成立，通过生成器混合证明近似均衡的存在，并引入 MIX+GAN 作为实用稳定化技术。

ABSTRACT

We show that training of generative adversarial network (GAN) may not have good generalization properties; e.g., training may appear successful but the trained distribution may be far from target distribution in standard metrics. However, generalization does occur for a weaker metric called neural net distance. It is also shown that an approximate pure equilibrium exists in the discriminator/generator game for a special class of generators with natural training objectives when generator capacity and training set sizes are moderate. This existence of equilibrium inspires MIX+GAN protocol, which can be combined with any existing GAN training, and empirically shown to improve some of them.

研究动机与目标

• 证明在标准分布距离下 GAN 训练可能无法泛化。
• 引入神经网络距离作为可行的 GAN 泛化度量。
• 证明通过生成器混合在 GAN 博弈中存在近似纯均衡。
• 提出并在实证中验证 MIX+GAN 作为一个实用的训练框架。

提出的方法

• 用带有神经网络判别器和生成器以及常见目标函数来定义 GAN 训练。
• 引入 F-distance 和神经网络距离作为统一的发散度量。
• 证明神经网络距离的泛化保证，具有多项式样本复杂度。
• 证明在 GAN 博弈中无限制的生成器混合可以实现接近最优的均衡。
• 提出一个有限混合构造，以实现近似纯均衡并推导网络规模界限。
• 将 MIX+GAN 作为一个实用的训练协议，结合混合与现有 GAN 目标，并采用熵正则化以鼓励多样性。

实验结果

研究问题

• RQ1 在多项式样本下，GAN 训练是否可在标准距离度量（JS、Wasserstein）下泛化？
• RQ2 是否存在一个更弱的度量（神经网络距离）能为 GAN 提供泛化保证？
• RQ3 在 GAN 博弈中是否存在均衡，且是否能以实际的网络规模实现？
• RQ4 混合生成器是否能达到近似均衡，且能否以单一网络实现（纯均衡）？
• RQ5 MIX+GAN 框架是否能稳定训练并在经验中提升性能？

主要发现

方法	分数
SteinGAN ( Wang and Liu, 2016 )	6.35
Improved GAN ( Salimans et al., 2016 )	8.09 ± 0.07
AC-GAN ( Odena et al., 2016 )	8.25 ± 0.07
S-GAN (best variant in Huang et al., 2017)	8.59 ± 0.12
DCGAN (as reported in Wang and Liu, 2016)	6.58
DCGAN (best variant in Huang et al., 2017)	7.16 ± 0.10
DCGAN (5x size)	7.34 ± 0.07
MIX+DCGAN (Ours, with 5 components)	7.72 ± 0.09
Wasserstein GAN	3.82 ± 0.06
MIX+WassersteinGAN (Ours, with 5 components)	4.04 ± 0.07

• 标准的 JS 散度和 Wasserstein 距离在多项式样本下无法泛化。
• 神经网络距离拥有多项式样本的泛化性，为 GAN 训练提供了代理保证。
• 通过有限的生成器混合存在近似均衡，并且可以在 modest 的网络规模增加下实现类似纯均衡的构造。
• MIX+GAN 框架稳定训练，并在 CIFAR-10、MNIST、CelebA 等数据集上取得改进。
• 经验结果表明 MIX+DCGAN 在 Inception 分数上高于若干基线。