[论文解读] GANs May Have No Nash Equilibria

Farzan Farnia, Asuman Ozdaglar|arXiv (Cornell University)|Feb 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 25

一句话总结

本文表明，由于生成器模型不可实现，生成对抗网络（GANs）在其极小极大优化中可能缺乏局部纳什均衡。为解决此问题，作者提出了一种新型均衡概念——近端均衡（proximal equilibrium），该概念源自对 GAN 目标函数应用近端算子，证明其在Wasserstein GAN 的最优生成器中存在，并提出近端训练作为标准 GAN 优化的稳定替代方法。

ABSTRACT

Generative adversarial networks (GANs) represent a zero-sum game between two machine players, a generator and a discriminator, designed to learn the distribution of data. While GANs have achieved state-of-the-art performance in several benchmark learning tasks, GAN minimax optimization still poses great theoretical and empirical challenges. GANs trained using first-order optimization methods commonly fail to converge to a stable solution where the players cannot improve their objective, i.e., the Nash equilibrium of the underlying game. Such issues raise the question of the existence of Nash equilibrium solutions in the GAN zero-sum game. In this work, we show through several theoretical and numerical results that indeed GAN zero-sum games may not have any local Nash equilibria. To characterize an equilibrium notion applicable to GANs, we consider the equilibrium of a new zero-sum game with an objective function given by a proximal operator applied to the original objective, a solution we call the proximal equilibrium. Unlike the Nash equilibrium, the proximal equilibrium captures the sequential nature of GANs, in which the generator moves first followed by the discriminator. We prove that the optimal generative model in Wasserstein GAN problems provides a proximal equilibrium. Inspired by these results, we propose a new approach, which we call proximal training, for solving GAN problems. We discuss several numerical experiments demonstrating the existence of proximal equilibrium solutions in GAN minimax problems.

研究动机与目标

• 研究在生成器不可实现的设定下，GAN 极小极大博弈中纳什均衡是否存在。
• 通过识别更合适的均衡概念，解决 GAN 中一阶优化的不稳定性。
• 提出一种新的均衡概念——近端均衡，以反映 GAN 训练的顺序动作结构。
• 基于近端均衡开发一种新的训练方法——近端训练，以改善收敛性和稳定性。
• 通过理论与实证方法验证标准 GAN 构型中近端均衡的存在性。

提出的方法

• 通过将近端算子应用于原始 GAN 极小极大目标，定义一种新的零和博弈：$ V^{\text{prox}}(G,D) = \max_{\widetilde{D}} V(G,\widetilde{D}) - \|\widetilde{D} - D\|^2 $。
• 将近端均衡定义为该新博弈的纳什均衡，更准确地反映 GAN 训练的顺序性（先生成器，后判别器）。
• 证明在适当条件下，一阶与二阶 Wasserstein GAN 中的最优生成器可实现近端均衡。
• 通过在原始极小极大目标中引入近端项，提出近端训练方法，以增强优化过程的稳定性。
• 采用希尔伯特空间框架，结合索博列夫范数 $ \|\cdot\|_{\dot{H}^1} $，建立强凸性并推导收敛性保证。
• 利用判别器的 1-Lipschitz 性质与最优传输映射，证明在近端设定下，Wasserstein 距离目标可简化为强凸优化问题。

实验结果

研究问题

• RQ1 当生成器受正则化（如批量归一化或谱归一化）限制，无法表达经验数据分布时，GAN 极小极大博弈中是否存在局部纳什均衡？
• RQ2 能否为 GAN 定义一种更合适的均衡概念，以尊重其顺序训练动力学？
• RQ3 标准 GAN 构型（如原始 GAN、WGAN、f-GAN）中，近端均衡是否存在？
• RQ4 与标准的一阶方法相比，近端训练是否能提升 GAN 优化的收敛性与稳定性？
• RQ5 在近端博弈设定下，Wasserstein GAN 中的最优生成器是否构成近端均衡？

主要发现

• 本文证明，当生成器通过正则化（如批量归一化或谱归一化）受限时，GAN 极小极大问题中可能不存在纳什均衡。
• 在一阶与二阶 Wasserstein GAN 中，最小化与数据分布间 Wasserstein 距离的最优生成器可实现近端均衡。
• 近端均衡被证明等价于斯塔克尔伯格博弈设定下的子博弈完美均衡，使其成为 GAN 的自然均衡概念。
• 近端博弈中的目标函数关于 $ \dot{H}^0 $ 范数具有 1-强凸性，确保唯一最小值点并实现稳定优化。
• 近端均衡满足不等式 $ V(G_{\bm{\theta}}, D^{\bm{\theta}}) - V(G_{\bm{\theta}^*}, D^{\bm{\theta}^*}) \geq \frac{\eta}{2} \|D - D_{\bm{\theta}^*}\|^2_{\dot{H}^1} $，证明其稳定性。
• 数值实验验证了在实际 GAN 训练中近端均衡解的存在性，即使标准 GAN 无法收敛至纳什均衡。