[論文レビュー] Don't Fix What ain't Broke: Near-optimal Local Convergence of Alternating Gradient Descent-Ascent for Minimax Optimization.

Guodong Zhang, Yuanhao Wang+2 more|arXiv (Cornell University)|Feb 18, 2021

Stochastic Gradient Optimization Techniques参考文献 67被引用数 7

ひとこと要約

この論文は、交互勾配降下・上昇（Alt-GDA）が、強い凸・強い凹なミニマックス問題において近似的に最適な局所収束レートを達成することを確立しており、同時に勾配更新（Sim-GDA）を上回っている。Sim-GDAは著しく遅い収束を示す。著者らは、より弱い強い凹性仮定のもとでも、交互更新が加速をもたらすことを示し、二次ゲームとGAN訓練における実験でこれを検証した。

ABSTRACT

Minimax optimization has recently gained a lot of attention as adversarial architectures and algorithms proliferate. Often, smooth minimax games proceed by simultaneous or alternating gradient updates. Although algorithms with alternating updates are commonly used in practice for many applications (e.g., GAN training), the majority of existing theoretical analyses focus on simultaneous algorithms. In this paper, we study alternating gradient descent-ascent (Alt-GDA) in minimax games and show that Alt-GDA is superior to its simultaneous counterpart (Sim-GDA) in many settings. In particular, we prove that Alt-GDA achieves a near-optimal local convergence rate for strongly-convex strongly-concave problems while Sim-GDA converges with a much slower rate. Moreover, we show that the acceleration effect of alternating updates remains when the minimax problem has only strong concavity in the dual variables. Numerical experiments on quadratic minimax games validate our claims. Additionally, we demonstrate that alternating updates speed up GAN training significantly and the use of optimism only helps for simultaneous algorithms.

研究の動機と目的

• 交互勾配降下・上昇（Alt-GDA）のミニマックス最適化における局所的収束挙動を分析すること。
• 強い凸・強い凹な設定におけるAlt-GDAの収束速度と同時勾配降下・上昇（Sim-GDA）の収束速度を比較すること。
• 双対変数における強い凹性のみが成り立つ場合に、交互更新が加速効果を維持できるかどうかを調査すること。
• 二次ミニマックスゲームとGAN訓練における数値実験を通じて理論的発見を検証すること。

提案手法

• 強い凸・強い凹なミニマックス問題における局所的収束レートを確立するために、リャプノフ関数を用いたAlt-GDAの理論的分析。
• 標準的な滑らかさおよび強い凸性／凹性仮定の下でのAlt-GDAとSim-GDAの収束速度の導出。
• 双対変数における強い凹性のみが成り立つ設定への分析の拡張を行い、交互更新による加速が継続することを示した。
• 二次ミニマックスゲームにおける数値的評価により、理論的収束レートの妥当性を検証した。
• GAN訓練における実験的評価により、交互更新による実用的高速化を示した。
• 楽観主義手法との比較により、その利点が同時に更新に限られることを示した。

実験結果

リサーチクエスチョン

• RQ1 強い凸・強い凹なミニマックス問題において、交互勾配降下・上昇（Alt-GDA）は、同時に勾配降下・上昇（Sim-GDA）よりも速い局所的収束速度を達成するか？
• RQ2 双対変数における強い凹性のみが仮定される場合に、交互更新による加速効果が維持されるか？
• RQ3 ミニマックス最適化において、交互更新は楽観主義手法と比較して収束速度で優れているか？
• RQ4 理論的収束レートが、GAN訓練のような実用的設定でもどれほど成立するか？

主な発見

• Alt-GDAは、強い凸・強い凹なミニマックス問題において近似的に最適な局所的収束速度を達成するが、Sim-GDAは著しく遅い収束を示す。
• 双対変数における強い凹性のみが成り立つ場合でも、交互更新による加速効果が継続する。これは、より広範な適用可能性を示している。
• 二次ミニマックスゲームにおける数値実験により、Alt-GDAの理論的収束レートが正当化された。
• GAN訓練において、交互更新は収束を著しく高速化し、同時に更新に対する実用的優位性を示した。
• 楽観主義手法は同時に更新の収束を改善するが、交互更新では利点がない。
• 複数のベンチマークにおいて、理論的収束速度と実際の学習ダイナミクスの両面で、Alt-GDAはSim-GDAを上回った。