[論文レビュー] Faster Single-loop Algorithms for Minimax Optimization without Strong Concavity

Junchi Yang, Antonio Orvieto+2 more|arXiv (Cornell University)|Dec 10, 2021

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿では、強い凹性を要件としない一方で、変数の1つに対してポリアック＝ロジャツェフスキ（PL）条件が成り立つ最小最大化最適化の下で、より高速な2つのシングルループアルゴリズム—交互GDA（AGDA）とスムージングGDA—を提案する。vanilla GDA よりも優れた収束速度を達成し、類似の仮定下で既存のシングルループ手法の中で最高の収束レートを達成する。反復回数の複雑さは、スムージングGDAで $O(\kappa\epsilon^{-2})$、その確率的変種では $O(\kappa^2\epsilon^{-4})$ であることが確立されている。

ABSTRACT

Gradient descent ascent (GDA), the simplest single-loop algorithm for nonconvex minimax optimization, is widely used in practical applications such as generative adversarial networks (GANs) and adversarial training. Albeit its desirable simplicity, recent work shows inferior convergence rates of GDA in theory even assuming strong concavity of the objective on one side. This paper establishes new convergence results for two alternative single-loop algorithms -- alternating GDA and smoothed GDA -- under the mild assumption that the objective satisfies the Polyak-Lojasiewicz (PL) condition about one variable. We prove that, to find an $ε$-stationary point, (i) alternating GDA and its stochastic variant (without mini batch) respectively require $O(κ^{2} ε^{-2})$ and $O(κ^{4} ε^{-4})$ iterations, while (ii) smoothed GDA and its stochastic variant (without mini batch) respectively require $O(κε^{-2})$ and $O(κ^{2} ε^{-4})$ iterations. The latter greatly improves over the vanilla GDA and gives the hitherto best known complexity results among single-loop algorithms under similar settings. We further showcase the empirical efficiency of these algorithms in training GANs and robust nonlinear regression.

研究の動機と目的

• 強い凹性が成立しない状況におけるシングルループ最小最大化アルゴリズムの収束速度のギャップを埋めること。
• シングルループ設定下での条件数 $\kappa$ と精度 $\epsilon$ への依存度を改善すること。
• PL条件下でのAGDAおよびスムージングGDAの反復回数およびサンプル複雑さの境界をより厳密に確立すること。
• GANの学習およびロバスト回帰において、スムージングGDAの実験的優位性を示すこと。

提案手法

• 非凸最小最大化問題に対するvanilla GDAの代替として、交互GDA（AGDA）およびスムージングGDAというシングルループ手法を導入する。
• 変数 $y$ に対してポリアック＝ロジャツェフスキ（PL）条件を仮定することで、強い凹性の必要性を緩和する。
• 反復点と最適解との差をバネ関数と再帰的不等式を用いて評価する。
• 滑らかさとPL性質を活用した、プライマル・デュアルギャップの収縮による収束の確立。
• プライマル関数ギャップを最大関数の勾配ノルムに関連付けることで、反復複雑さの境界を導出する。
• GANの学習および非線形回帰において性能を実験的に検証し、Adam、RMSProp、および標準的なStoc-AGDAと比較する。

実験結果

リサーチクエスチョン

• RQ1 強い凹性が仮定されない状況でも、シングルループアルゴリズムがvanilla GDA よりも優れた収束速度を達成できるか？
• RQ2 PL条件下で、シングルループ最小最大化アルゴリズムの条件数 $\kappa$ と精度 $\epsilon$ への最適な依存関係は何か？
• RQ3 スムージングGDAは理論的および実践的両面で標準的なAGDAを上回るか、特に確率的設定下で？
• RQ4 スムージングGDAの理論的複雑さは、GANの学習およびロバスト回帰の実験でも達成可能か？

主な発見

• スムージングGDAは、決定的設定下で反復複雑さ $O(\kappa\epsilon^{-2})$ を達成し、同じ仮定下でvanilla GDAの $O(\kappa^2\epsilon^{-2})$ より顕著に改善されている。
• スムージングGDAの確率的変種は $O(\kappa^2\epsilon^{-4})$ の反復回数を要し、ミニバッチなしのシングルループ手法の中で最も良い既知のサンプル複雑さを達成している。
• 交互GDAは決定的状況下で $O(\kappa^2\epsilon^{-2})$、確率的状況下で $O(\kappa^4\epsilon^{-4})$ の反復回数を要し、依然としてvanilla GDAを上回っている。
• 実験結果から、適応的ステップサイズを用いたスムージングGDAは、GANの学習およびロバスト回帰において、Adam や RMSProp と同等またはそれ以上の性能を示している。
• 理論的分析により、スムージングGDAがPL条件下でシングルループ手法の中で最高の既知の収束速度を達成していることが確認された。
• 本稿では、条件数 $\kappa = l/\mu$ が収束を支配しており、スムージングGDAが標準的なGDAに比べてその依存度を低減していることが示された。