[論文レビュー] Gradient Descent-Ascent Provably Converges to Strict Local Minmax Equilibria with a Finite Timescale Separation

Tanner Fiez, Lillian J. Ratliff|arXiv (Cornell University)|Sep 30, 2020

Markov Chains and Monte Carlo Methods参考文献 66被引用数 7

ひとこと要約

本稿では、有限の時定数分離パラメータ τ を用いた勾配降下・上昇（GDA）が、厳密な局所ミニマックス均衡に収束するための必要十分条件を確立している。具体的には、τ が有限の閾値 τ∗ を超える場合に限り、GDA は厳密な局所ミニマックス均衡に収束することが示された。主な貢献は、すべての τ > τ∗ に対して、GDA の安定な臨界点が厳密な局所ミニマックス均衡と完全に一致することを証明したことである。これは、従来の τ = 1 と τ → ∞ の極限ケースの間にある理論的ギャップを解消するものである。

ABSTRACT

We study the role that a finite timescale separation parameter $τ$ has on gradient descent-ascent in two-player non-convex, non-concave zero-sum games where the learning rate of player 1 is denoted by $γ_1$ and the learning rate of player 2 is defined to be $γ_2=τγ_1$. Existing work analyzing the role of timescale separation in gradient descent-ascent has primarily focused on the edge cases of players sharing a learning rate ($τ=1$) and the maximizing player approximately converging between each update of the minimizing player ($τ ightarrow \infty$). For the parameter choice of $τ=1$, it is known that the learning dynamics are not guaranteed to converge to a game-theoretically meaningful equilibria in general. In contrast, Jin et al. (2020) showed that the stable critical points of gradient descent-ascent coincide with the set of strict local minmax equilibria as $τ ightarrow\infty$. In this work, we bridge the gap between past work by showing there exists a finite timescale separation parameter $τ^{\ast}$ such that $x^{\ast}$ is a stable critical point of gradient descent-ascent for all $τ\in (τ^{\ast}, \infty)$ if and only if it is a strict local minmax equilibrium. Moreover, we provide an explicit construction for computing $τ^{\ast}$ along with corresponding convergence rates and results under deterministic and stochastic gradient feedback. The convergence results we present are complemented by a non-convergence result: given a critical point $x^{\ast}$ that is not a strict local minmax equilibrium, then there exists a finite timescale separation $τ_0$ such that $x^{\ast}$ is unstable for all $τ\in (τ_0, \infty)$. Finally, we empirically demonstrate on the CIFAR-10 and CelebA datasets the significant impact timescale separation has on training performance.

研究の動機と目的

• 非凸・非凹なゼロサムゲームにおける勾配降下・上昇の理論的ギャップを、等しい学習率（τ = 1）と無限の時定数分離（τ → ∞）という極限ケースの間で埋める。
• 勾配降下・上昇が厳密な局所ミニマックス均衡に収束するための有限の閾値 τ∗ を特定すること。
• τ∗、収束速度、および決定的・確率的勾配フィードバックの両方における安定性保証の明示的構成を提供すること。
• CIFAR-10 および CelebA データセットを用いた生成的対抗的ネットワーク（GANs）における、時定数分離の訓練性能への実用的影響を示すこと。
• GANsにおける勾配ペナルティ正則化法への安定性および収束結果の拡張を行い、ハイパーパramータのトレードオフを経験的に分析すること。

提案手法

• 著者らは、最小化プレイヤーと最大化プレイヤーの学習率をそれぞれ γ₁ と γ₂ として、有限の時定数分離パラメータ τ = γ₂/γ₁ を導入した。
• ゲームのジャコビアンが安定し、GDA がすべての τ > τ∗ に対して局所的に厳密な局所ミニマックス均衡に収束するように、τ の有限下限 τ∗ を導出した。
• τ∗ の構築は、ヘッセ行列・ジャコビアンブロック行列のシュール補行列の解析に依拠し、低次元系の負定値性を保証することで行われた。
• リャプノフに基づく解析を用いて局所漸近的安定性を証明し、収束速度を導出。境界層および低次元系のリャプノフ関数の凸結合が吸引領域の推定に用いられた。
• 制御理論においてこれまであまり注目されていなかった「ガードマップ」を導入。本研究では、学習ダイナミクスにおける性能と安定性を証明するために再解釈された。
• CIFAR-10 および CelebA を用いた実験的検証では、GAN に勾配ペナルティ正則化を適用し、τ、正則化強度、指数移動平均平滑化のパラメータを変化させた。

実験結果

リサーチクエスチョン

• RQ1 すべての τ > τ∗ に対して勾配降下・上昇が厳密な局所ミニマックス均衡に収束する有限の時定数分離 τ∗ が存在するか？
• RQ2 τ∗ がゲームのヘッセ行列およびジャコビアン構造から明示的に構築可能か？
• RQ3 収束速度と安定性は τ にどのように依存するか？また、複素固有値はダイナミクスにどのような役割を果たすか？
• RQ4 時定数分離は、GAN の訓練性能にどの程度向上効果をもたらすか？また、正則化や指数移動平均などのハイパーパラメータはどのように相互作用するか？
• RQ5 理論的枠組みは、GAN における勾配ペナルティ正則化法へ拡張可能か？

主な発見

• すべての τ > τ∗ に対して、臨界点 x∗ が勾配降下・上昇の安定な固定点であるための必要十分条件は、x∗ が厳密な局所ミニマックス均衡であることである。
• ヘッセ行列・ジャコビアン行列のシュール補行列を用いることで、τ∗ を明示的に計算可能であり、収束の実用的証明が得られる。
• 決定的および確率的勾配フィードバックの両方の下で収束速度が導出され、微分ナッシュ均衡および微分スタックルベルク均衡の両方の吸引領域の明示的境界が得られた。
• 非収束結果が確立された：x∗ が厳密な局所ミニマックス均衡でない場合、すべての τ > τ₀ に対して x∗ が不安定であるような τ₀ が存在する。
• CIFAR-10 および CelebA における経験的結果から、τ の増加が訓練の安定性と性能を向上させることを示した。また、ジャコビアンに複素固有値が存在する場合、収束が速くなる傾向が観察された。
• 本研究では、複素固有値に起因するダイナミクスのサイクリングが有益であることが判明した。また、学習率比、正則化、指数移動平均などのハイパーパラメータは、収束に非自明に相互作用することが明らかになった。