[论文解读] Interaction Matters: A Note on Non-asymptotic Local Convergence of Generative Adversarial Networks

Tengyuan Liang, James Stokes|arXiv (Cornell University)|Feb 16, 2018

Mathematical Biology Tumor Growth被引用 95

一句话总结

本文提出了一种面向平滑两玩家博弈的非渐近局部收敛理论，展示了非对角交互如何影响 SGA，以及四种稳定化动力学（OMD、CO、IU、PM）在不稳定情形下实现指数收敛，并给出联系和学习率指导。

ABSTRACT

Motivated by the pursuit of a systematic computational and algorithmic understanding of Generative Adversarial Networks (GANs), we present a simple yet unified non-asymptotic local convergence theory for smooth two-player games, which subsumes several discrete-time gradient-based saddle point dynamics. The analysis reveals the surprising nature of the off-diagonal interaction term as both a blessing and a curse. On the one hand, this interaction term explains the origin of the slow-down effect in the convergence of Simultaneous Gradient Ascent (SGA) to stable Nash equilibria. On the other hand, for the unstable equilibria, exponential convergence can be proved thanks to the interaction term, for four modified dynamics proposed to stabilize GAN training: Optimistic Mirror Descent (OMD), Consensus Optimization (CO), Implicit Updates (IU) and Predictive Method (PM). The analysis uncovers the intimate connections among these stabilizing techniques, and provides detailed characterization on the choice of learning rate. As a by-product, we present a new analysis for OMD proposed in Daskalakis, Ilyas, Syrgkanis, and Zeng [2017] with improved rates.

研究动机与目标

• 为将 GANs 视为两人零和博弈的非渐近、局部收敛理解提供动机。
• 表征在 SGA 下，非对角交互项如何影响收敛速度。
• 建立并统一对稳定化的鞍点动力学（OMD、CO、IU、PM）的分析，并提供学习率指导。
• 将稳定化方法与双线性/不稳定局部情形下交互项引发的曲率联系起来。

提出的方法

• 将 GAN 训练表述为具有局部纳什均衡的平滑两玩家零和博弈。
• 在局部强凸-强凹条件下推导 SGA 的非渐近指数收敛结果（定理 1）。
• 分离由交互项 C 引起的减速；引入矩阵 F 及用于速率刻画的参数 alpha、beta。
• 分析不稳定（双线性）局部博弈，并证明四种稳定化动态（定理 3–6）的指数收敛。
• 在双线性情形下为每种方法提供明确的学习率选择，并将方法与交互曲率联系起来。
• 相比以往结果，提供对 Optimistic Mirror Descent (OMD) 的改进分析。

实验结果

研究问题

• RQ1 两玩家博弈中的非对角交互项如何影响非渐近收敛速率？
• RQ2 是否能证明在适当学习率下，标准梯度动力学（SGA）收敛到稳定局部纳什均衡具有指数收敛？
• RQ3 稳定化的鞍点动力学（OMD、CO、IU、PM）是否在不稳定/局部双线性博弈中实现指数收敛，以及学习率如何选择？
• RQ4 这些稳定化方法之间有哪些联系，它们如何利用交互曲率来稳定 GAN 的训练？
• RQ5 这些局部结果如何与实际 GAN 目标函数相关，以及它们为学习率的选择提供了哪些指导？

主要发现

• SGA 在经过精心选择的固定学习率下以指数方式收敛到稳定的局部纳什均衡，但减速是由非对角交互项引起。
• 在不稳定或接近双线性的局部博弈中，SGA 对任何非零学习率都会发散，而四种稳定化动力学（OMD、CO、IU、PM）实现指数收敛。
• 交互项曲率在稳定化方法中被以相似的方式利用，以稳定动力学并在双线性情形下实现更快的收敛。
• 一个统一的视角将 OMD、PM、CO 与隐式更新联系起来，显示它们在稳定化方面共享对曲率的利用机制。
• 本文在双线性（不稳定）情形下为这些方法提供了明确的学习率指导，并将它们的性能与标准 SGA 进行对比。