[论文解读] GANs with First-Order Greedy Discriminators

Vijay Keswani, Oren Mangoubi+2 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning被引用 2

一句话总结

该论文提出了一种新型的 GAN 训练框架，采用一阶贪婪判别器，通过迭代更新直至达到驻点，实现对近似局部均衡的可证明收敛。该方法在多项式时间内收敛，可处理非凸/非凹损失函数，并在 CIFAR-10 上的模式覆盖度和 Inception Score 方面优于 GDA、OMD 和未展开 GAN。

ABSTRACT

We propose a variant of the standard min-max framework for GANs to learn a distribution, where the discriminator can update its strategy in a greedy manner until it reaches a first-order stationary point. We give an algorithm to train such a GAN and show that it provably converges from any initial point to an approximate local equilibrium for this framework. Our algorithm runs in time polynomial in the smoothness parameters of the loss function and independent of the dimension, and allows for loss functions that can be nonconvex and nonconcave in the parameters of the generator and discriminator. Empirically, GANs trained using our algorithm consistently learn a greater number of modes than gradient descent-ascent (GDA), optimistic mirror descent (OMD), and unrolled GANs when applied to a synthetic Gaussian mixture dataset. Moreover, they perform significantly better on CIFAR-10 than OMD and GDA when comparing the mean and standard deviation of the Inception Score respectively.

研究动机与目标

• 为解决标准 GAN 训练中的不稳定性和模式覆盖度差的问题，通过重新定义判别器更新过程。
• 开发一种训练算法，可在一般损失函数条件下可证明收敛至近似局部均衡。
• 实现与维度无关的多项式时间复杂度下的高效训练。
• 通过允许生成器和判别器参数使用非凸和非凹损失函数，提升样本多样性和质量。

提出的方法

• 判别器以一阶方式贪婪更新，迭代改进其策略，直至达到一阶驻点。
• 该框架用判别器的顺序贪婪更新规则替代标准的最小最大优化。
• 通过迭代判别器更新，确保算法收敛至近似局部均衡。
• 该方法相对于光滑性参数呈多项式时间复杂度，与输入维度无关。
• 该方法支持生成器和判别器参数中使用非凸和非凹损失函数。
• 训练算法设计为在各种损失函数景观下均具备可扩展性和鲁棒性。

实验结果

研究问题

• RQ1 贪婪的一阶判别器更新策略是否能实现稳定且收敛的 GAN 训练？
• RQ2 所提方法在一般非凸/非凹损失函数下是否能实现收敛至近似局部均衡？
• RQ3 在合成数据上，所提 GAN 的模式覆盖度与 GDA、OMD 和未展开 GAN 相比如何？
• RQ4 在标准基准如 CIFAR-10 上，所提方法的 Inception Score 表现如何？
• RQ5 该算法能否在与维度无关的多项式时间复杂度下保持高效？

主要发现

• 所提算法可从任意初始点可证明收敛至近似局部均衡。
• 该方法在光滑性参数上呈多项式时间复杂度，且与输入维度无关。
• 在合成的高斯混合数据集上，GAN 学习到的模式数显著多于 GDA、OMD 和未展开 GAN。
• 在 CIFAR-10 上，该模型的平均 Inception Score 更高，标准差更低，优于 OMD 和 GDA。
• 该框架支持生成器和判别器参数中使用非凸和非凹损失函数。
• 实证结果证实，该方法在多个基准上均提升了样本的多样性和质量。