[论文解读] Gradient Descent-Ascent Provably Converges to Strict Local Minmax Equilibria with a Finite Timescale Separation

Tanner Fiez, Lillian J. Ratliff|arXiv (Cornell University)|Sep 30, 2020

Markov Chains and Monte Carlo Methods参考文献 66被引用 7

一句话总结

该论文证明，当梯度下降-上升（GDA）具有有限的时间尺度分离参数 τ 时，其收敛至严格局部极小极大均衡的充要条件是 τ 超过一个有限阈值 τ∗，该阈值可显式构造。关键贡献在于证明：对于所有 τ > τ∗，GDA 的稳定临界点恰好与严格局部极小极大均衡一致，从而弥合了此前关于 τ = 1 和 τ → ∞ 情况之间的理论空白。

ABSTRACT

We study the role that a finite timescale separation parameter $τ$ has on gradient descent-ascent in two-player non-convex, non-concave zero-sum games where the learning rate of player 1 is denoted by $γ_1$ and the learning rate of player 2 is defined to be $γ_2=τγ_1$. Existing work analyzing the role of timescale separation in gradient descent-ascent has primarily focused on the edge cases of players sharing a learning rate ($τ=1$) and the maximizing player approximately converging between each update of the minimizing player ($τ ightarrow \infty$). For the parameter choice of $τ=1$, it is known that the learning dynamics are not guaranteed to converge to a game-theoretically meaningful equilibria in general. In contrast, Jin et al. (2020) showed that the stable critical points of gradient descent-ascent coincide with the set of strict local minmax equilibria as $τ ightarrow\infty$. In this work, we bridge the gap between past work by showing there exists a finite timescale separation parameter $τ^{\ast}$ such that $x^{\ast}$ is a stable critical point of gradient descent-ascent for all $τ\in (τ^{\ast}, \infty)$ if and only if it is a strict local minmax equilibrium. Moreover, we provide an explicit construction for computing $τ^{\ast}$ along with corresponding convergence rates and results under deterministic and stochastic gradient feedback. The convergence results we present are complemented by a non-convergence result: given a critical point $x^{\ast}$ that is not a strict local minmax equilibrium, then there exists a finite timescale separation $τ_0$ such that $x^{\ast}$ is unstable for all $τ\in (τ_0, \infty)$. Finally, we empirically demonstrate on the CIFAR-10 and CelebA datasets the significant impact timescale separation has on training performance.

研究动机与目标

• 弥合非凸、非凹零和博弈中梯度下降-上升方法在等学习率（τ = 1）与无限时间尺度分离（τ → ∞）两种极端情况之间的理论空白。
• 识别一个有限阈值 τ∗，使得梯度下降-上升收敛至严格局部极小极大均衡当且仅当 τ > τ∗。
• 在确定性和随机梯度反馈下，提供 τ∗、收敛速率和稳定性保证的显式构造。
• 通过在 CIFAR-10 和 CelebA 数据集上使用生成对抗网络（GANs）验证时间尺度分离对训练性能的实际影响。
• 将稳定性与收敛性结果扩展至 GAN 中的梯度惩罚正则化方法，并通过实验分析超参数之间的权衡。

提出的方法

• 作者引入有限时间尺度分离参数 τ = γ₂/γ₁，其中 γ₁ 和 γ₂ 分别为最小化方和最大化方的学习率。
• 推导出 τ 的有限下界 τ∗，使得当所有 τ > τ∗ 时，博弈的雅可比矩阵稳定，且 GDA 局部收敛至严格局部极小极大均衡。
• τ∗ 的构造依赖于对海森-雅可比块矩阵的施特尔补分析，并确保约化阶系统负定。
• 采用基于李雅普诺夫的分析方法以验证局部渐近稳定性并推导收敛速率，通过边界层与约化阶李雅普诺夫函数的凸组合提供吸引域估计。
• 该方法引入了“保护映射”——此前在控制理论中较为晦涩的工具——在此重新诠释为用于认证学习动力学性能与稳定性的手段。
• 在 CIFAR-10 和 CelebA 上通过 GAN 与梯度惩罚正则化进行实证验证，变化 τ、正则化强度及指数移动平均平滑度。

实验结果

研究问题

• RQ1 是否存在一个有限的时间尺度分离 τ∗，使得梯度下降-上升对所有 τ > τ∗ 均收敛至严格局部极小极大均衡？
• RQ2 τ∗ 是否可基于博弈的海森矩阵与雅可比矩阵结构显式构造？
• RQ3 收敛速率与稳定性如何依赖于 τ？复特征值在动力学中扮演何种角色？
• RQ4 时间尺度分离在多大程度上改善了 GAN 的训练性能？学习率比、正则化与指数移动平均等超参数之间如何相互作用？
• RQ5 该理论框架能否扩展至 GAN 中的梯度惩罚正则化方法？

主要发现

• 存在一个有限阈值 τ∗，使得临界点 x∗ 对所有 τ > τ∗ 是梯度下降-上升的稳定不动点，当且仅当 x∗ 是严格局部极小极大均衡。
• 可通过海森-雅可比矩阵的施特尔补显式计算 τ∗，为收敛性提供实用证书。
• 在确定性和随机梯度反馈下均推导出收敛速率，并对微分纳什与微分斯塔克尔贝格均衡的吸引域提供显式有界估计。
• 建立了非收敛结果：若 x∗ 不是严格局部极小极大均衡，则存在 τ₀，使得对所有 τ > τ₀，x∗ 均不稳定。
• 在 CIFAR-10 和 CelebA 上的实证结果表明，增大 τ 可提升训练稳定性和性能，且雅可比矩阵中的复特征值与更快的收敛速度相关。
• 研究发现，由复特征值引发的动力学振荡（循环）可产生有益影响，且学习率比、正则化与指数移动平均等超参数之间存在非平凡的交互作用，显著影响收敛性。