[论文解读] Gradient descent GAN optimization is locally stable

Vaishnavh Nagarajan, J. Zico Kolter|arXiv (Cornell University)|Jun 13, 2017

Model Reduction and Neural Networks被引用 76

一句话总结

本论文分析 GAN 中生成器和判别器的同时梯度更新，给出在某些条件下的局部指数稳定性，并提出一种基于梯度的正则化以保障传统 GAN 和 WGAN 的稳定性。

ABSTRACT

Despite the growing prominence of generative adversarial networks (GANs), optimization in GANs is still a poorly understood topic. In this paper, we analyze the "gradient descent" form of GAN optimization i.e., the natural setting where we simultaneously take small gradient steps in both generator and discriminator parameters. We show that even though GAN optimization does not correspond to a convex-concave game (even for simple parameterizations), under proper conditions, equilibrium points of this optimization procedure are still \emph{locally asymptotically stable} for the traditional GAN formulation. On the other hand, we show that the recently proposed Wasserstein GAN can have non-convergent limit cycles near equilibrium. Motivated by this stability analysis, we propose an additional regularization term for gradient descent GAN updates, which \emph{is} able to guarantee local stability for both the WGAN and the traditional GAN, and also shows practical promise in speeding up convergence and addressing mode collapse.

研究动机与目标

• 动机并分析在 G 和 D 同时更新的梯度下降 GAN 优化的稳定性。
• 证明在适当条件下，平衡点局部呈指数稳定。
• 证明在梯度下降中，WGAN 可能出现非收敛的极限环。
• 提出一个对判别器梯度的正则化项，确保对 GAN 与 WGAN 均具有局部稳定性。
• 将所提正则化与未展开的 GAN（unrolled GAN）及实际训练改进联系起来。

提出的方法

• 用一个凹函数 f 来形成广义 GAN 目标，并将梯度下降更新作为一个动力系统进行分析。
• 应用常微分方程（ODE）方法及线性化来研究平衡点附近的局部稳定性。
• 定义并利用矩阵 K_DD 与 K_DG 来刻画平衡点处的雅可比矩阵。
• 在一组假设（I–IV）下证明局部指数稳定性，并讨论存在多个平衡点的情形。
• 指出在此梯度下降设定下，Wasserstein GAN 可能出现非收敛的极限环（无全局收敛）。
• 引入一个针对生成器更新的梯度惩罚正则化，以保持平衡并强化局部稳定性（双重反向传播）。

实验结果

研究问题

• RQ1 在何种条件下，梯度下降 GAN 更新在平衡点附近呈局部指数稳定？
• RQ2 传统 GAN 与 WGAN 是否在梯度下降动力学下均具有局部稳定性？
• RQ3 一个正则化项是否可以同时保证 GAN 与 WGAN 形式下的局部稳定性？
• RQ4 在梯度下降更新中，极限环的存在性在 GAN 与 WGAN 之间有何差异？
• RQ5 所提出的梯度惩罚与现有的稳定化方法（如未展开的 GAN）之间有什么关系？

主要发现

• 在合适的曲率条件下，GAN 的梯度下降动力学在良好平衡点附近可以局部指数稳定。
• 在接近平衡点的梯度下降更新中，WGAN 可能出现非收敛的极限环。
• 一个对判别器梯度的基于梯度的正则化项可保证对 GAN 和 WGAN 的局部指数稳定性。
• 该正则化项实现简单，能加速收敛并有助于防止模式崩溃。
• 该分析与未展开的 GAN 以及改进的 WGAN 训练方法相联系并有区分。