[論文レビュー] Near-optimal Local Convergence of Alternating Gradient Descent-Ascent for Minimax Optimization

Guodong Zhang, Yuanhao Wang+2 more|arXiv (Cornell University)|Feb 18, 2021

Stochastic Gradient Optimization Techniques参考文献 55被引用数 6

ひとこと要約

本稿では、交互勾配降下法（Alt-GDA）が、強い凸-強い凹（SCSC）最小最大化問題において、近似的に最適な局所収束レート 𝒪(κ) を達成することを確立している。これは、同時に進める勾配降下法（Sim-GDA）の 𝒪(κ²) よりも著しく優れている。著者らは、Alt-GDA が、追加勾配法および楽観的勾配降下法の最良既知のレートと一致することを証明し、さらに、双線形結合を有するSCSC問題のサブクラスについて、積分二次制約（IQC）を用いてグローバル線形収束を示している。

ABSTRACT

Smooth minimax games often proceed by simultaneous or alternating gradient updates. Although algorithms with alternating updates are commonly used in practice, the majority of existing theoretical analyses focus on simultaneous algorithms for convenience of analysis. In this paper, we study alternating gradient descent-ascent (Alt-GDA) in minimax games and show that Alt-GDA is superior to its simultaneous counterpart~(Sim-GDA) in many settings. We prove that Alt-GDA achieves a near-optimal local convergence rate for strongly convex-strongly concave (SCSC) problems while Sim-GDA converges at a much slower rate. To our knowledge, this is the \emph{first} result of any setting showing that Alt-GDA converges faster than Sim-GDA by more than a constant. We further adapt the theory of integral quadratic constraints (IQC) and show that Alt-GDA attains the same rate \emph{globally} for a subclass of SCSC minimax problems. Empirically, we demonstrate that alternating updates speed up GAN training significantly and the use of optimism only helps for simultaneous algorithms.

研究の動機と目的

• 実践的によく用いられているが理論的分析が不足している交互勾配降下法（Alt-GDA）を研究することで、実務と分析の理論的ギャップを埋めること。
• 特に SCSC 最小最大化問題において、Alt-GDA と同時勾配降下法（Sim-GDA）の収束速度および収束レートを比較すること。
• Alt-GDA が、近似的に最適な局所収束レート 𝒪(κ) を達成することを確立すること。これは、追加勾配法および楽観的勾配降下法の最良既知のレートと一致する。
• 積分二次制約（IQC）およびリャプノフ関数探索を用いて、双線形結合を有するSCSC問題のサブクラスについてのグローバル収束を拡張して分析すること。
• 二次的最小最大化ゲームおよび GAN のトレーニングにおいて理論を実証的に検証し、Alt-GDA が Sim-GDA より優れていること、および、交互的アルゴリズムでは楽観主義の恩恵が限定的であることを示すこと。

提案手法

• 局所線形収束解析を用いた、SCSC 最小最大化問題における Alt-GDA の理論的分析。
• リャプノフ関数技術を用いて、条件数 κ における Alt-GDA の近似的に最適な局所収束レート 𝒪(κ) の証明。
• 双線形結合を有する SCSC 問題のサブクラスについて、グローバル収束レートを導出するために積分二次制約（IQC）理論の応用。
• LMI（線形行列不等式）によるリャプノフ関数探索を用いて、IQC フレームワーク下での安定性および収束の検証。
• FID スコアおよびトレーニングダイナミクスを用いた、二次的最小最大化ゲームおよび GAN における実証的評価。Alt-GDA、Sim-GDA、および楽観的バージョンを比較。
• CIFAR-10 および SVHN における SGD、AMSGrad およびその楽観的対応の同時および交互バージョンの実装とハイパーパramータチューニング。

実験結果

リサーチクエスチョン

• RQ1 交互勾配降下法（Alt-GDA）は、SCSC 最小最大化問題において、同時に進める勾配降下法（Sim-GDA）よりも速く収束するか？
• RQ2 Alt-GDA は、SCSC 問題において、近似的に最適な局所収束レート 𝒪(κ) を達成できるか？ これは、追加勾配法および楽観的勾配降下法の最良既知のレートと一致するか？
• RQ3 y に対して強い凹性のみが成り立つが x に対して強い凸性がない場合、Alt-GDA は線形収束レートを維持するか？
• RQ4 IQC フレームワークを用いて、双線形結合を有する SCSC 問題のサブクラスについて、Alt-GDA のグローバル収束を証明できるか？
• RQ5 楽観主義は、交互的アルゴリズムにおいて顕著な性能向上をもたらすか？ それとも、同時に進める手法にのみ有益であるのか？

主な発見

• Alt-GDA は、SCSC 最小最大化問題において局所収束レート 𝒪(κ) を達成しており、これは Sim-GDA の 𝒪(κ²) よりも2乗的に優れている。また、追加勾配法および楽観的勾配降下法の最良既知のレートと一致する。
• Alt-GDA の 𝒪(κ) レートは、近似的に最適である。これは、Azizian 他（2020b）の補題1で確立された粗い下界と一致する。
• y に対して強い凹性のみが成り立ち、結合行列が非特異である問題では、Sim-GDA および Alt-GDA の両方が線形収束を達成するが、Alt-GDA がより速く収束する。
• IQC 理論を用いて、著者らは、双線形結合を有する SCSC 問題のサブクラスについて、自動的なリャプノフ関数探索を経て、Alt-GDA が同じグローバル 𝒪(κ) 収束レートを達成することを証明した。
• GAN トレーニングにおける実証的結果から、交互更新が収束を著しく高速化することが明らかになった。一方、楽観主義は交互的スキームにおいてはほとんど利益をもたらさない。
• CIFAR-10 および SVHN における結果から、交互的 SGD および AMSGrad は、それらの同時バージョンを上回り、交互的設定では楽観主義の使用が性能向上に寄与しなかった。