[论文解读] Global Convergence to the Equilibrium of GANs using Variational Inequalities

Ian Gemp, Sridhar Mahadevan|arXiv (Cornell University)|Aug 4, 2018

Model Reduction and Neural Networks参考文献 54被引用 27

一句话总结

本文提出了一种名为 Crossing-the-Curl 的新型生成对抗网络（GAN）训练算法，通过利用变分不等式，在 Wasserstein 线性-二次 GAN（LQ-GAN）设置中实现了全局收敛。该方法识别并沿特定正交方向（垂直于最速下降方向）进行更新，从而实现了 $Ø(N/k)$ 的随机收敛速率，解决了标准基于梯度的训练中的不稳定性问题。

ABSTRACT

In optimization, the negative gradient of a function denotes the direction of steepest descent. Furthermore, traveling in any direction orthogonal to the gradient maintains the value of the function. In this work, we show that these orthogonal directions that are ignored by gradient descent can be critical in equilibrium problems. Equilibrium problems have drawn heightened attention in machine learning due to the emergence of the Generative Adversarial Network (GAN). We use the framework of Variational Inequalities to analyze popular training algorithms for a fundamental GAN variant: the Wasserstein Linear-Quadratic GAN. We show that the steepest descent direction causes divergence from the equilibrium, and convergence to the equilibrium is achieved through following a particular orthogonal direction. We call this successful technique Crossing-the-Curl, named for its mathematical derivation as well as its intuition: identify the game's axis of rotation and move "across" space in the direction towards smaller "curling".

研究动机与目标

• 解决标准 GAN 训练算法在全局收敛性方面缺乏保证的问题。
• 分析 GAN 训练在最小但具有代表性的 Wasserstein LQ-GAN 框架下的收敛行为。
• 识别出标准梯度下降因忽略正交方向而偏离均衡的问题。
• 开发一种新训练方法，通过沿特定正交方向更新以实现全局收敛。
• 通过实证结果证明，所提出的方法在合成数据和真实世界设置中均优于标准 GAN 训练。

提出的方法

• 使用变分不等式作为理论框架，分析 GAN 中的均衡问题，推广凸优化方法。
• 识别出 GAN 训练中的最速下降会导致循环性、发散行为，原因在于博弈的雅可比矩阵非单调。
• 推导出一种新的更新方向——Crossing-the-Curl，该方向垂直于梯度，与博弈的旋度轴对齐，以实现均衡。
• 采用分阶段学习程序，依次估计 LQ-GAN 模型中的均值、方差和线性变换参数。
• 在局部收敛后，对投影系统应用外梯度方法，以确保以 $Ø(N/k)$ 的速率实现全局收敛。
• 在多变量 LQ-GAN 和深度神经网络设置（包括 CIFAR-10 和高斯混合模型）中验证了该方法。

实验结果

研究问题

• RQ1 为何尽管在凸设置中有理论保证，标准基于梯度的 GAN 训练算法在 LQ-GAN 设置中仍无法实现全局收敛？
• RQ2 梯度的正交方向在均衡问题中扮演何种角色？为何它们对收敛至关重要？
• RQ3 能否设计一种系统性方法，以沿这些正交方向更新，从而在 GAN 中实现全局收敛？
• RQ4 所提出的 Crossing-the-Curl 方法在深度学习基准测试中与标准 GAN 训练相比，实证表现如何？
• RQ5 该方法的理论收敛速率是多少？其随维度变化的缩放特性如何？

主要发现

• 在 LQ-GAN 中，标准的同步梯度下降会导致循环性、发散的轨迹，原因在于博弈的雅可比矩阵结构非单调。
• GAN 训练中的最速下降方向无法收敛至均衡，因其路径在正交方向上保持函数值恒定。
• Crossing-the-Curl 是一种基于变分不等式的新型算法，在 N 维 LQ-GAN 设置中以高概率实现全局收敛。
• 由于分阶段学习程序的顺序特性，该方法实现了 $Ø(N/k)$ 的随机收敛速率，其中 $k$ 为迭代次数。
• 在高斯混合模型和 CIFAR-10 上的实证结果表明，引入一个微小的 $-JF$ 项可加速收敛并提升生成样本质量。
• 该方法在定性和定量指标上均优于标准 GAN 训练，实现了更好的模式覆盖和更低的训练不稳定性。