[論文レビュー] Optimal Epoch Stochastic Gradient Descent Ascent Methods for Min-Max Optimization

Yan Yan, Yi Xu+3 more|arXiv (Cornell University)|Feb 13, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用数 23

ひとこと要約

本稿は、強い凸・強い凹（SCSC）最小最大化最適化問題を解くためのエポック単位の確率的勾配降下上昇法（Epoch-GDA）を提案する。滑らかさや双線形構造を仮定せずとも、双対ギャップの最適収束速度 $O(1/T)$ を確立した最初の結果であり、凸最小化におけるエポック-GDフレームワークを、新規の技術的分析により最小最大化設定へと拡張した。

ABSTRACT

Epoch gradient descent method (a.k.a. Epoch-GD) proposed by Hazan and Kale (2011) was deemed a breakthrough for stochastic strongly convex minimization, which achieves the optimal convergence rate of $O(1/T)$ with $T$ iterative updates for the {\it objective gap}. However, its extension to solving stochastic min-max problems with strong convexity and strong concavity still remains open, and it is still unclear whether a fast rate of $O(1/T)$ for the {\it duality gap} is achievable for stochastic min-max optimization under strong convexity and strong concavity. Although some recent studies have proposed stochastic algorithms with fast convergence rates for min-max problems, they require additional assumptions about the problem, e.g., smoothness, bi-linear structure, etc. In this paper, we bridge this gap by providing a sharp analysis of epoch-wise stochastic gradient descent ascent method (referred to as Epoch-GDA) for solving strongly convex strongly concave (SCSC) min-max problems, without imposing any additional assumption about smoothness or the function's structure. To the best of our knowledge, our result is the first one that shows Epoch-GDA can achieve the optimal rate of $O(1/T)$ for the duality gap of general SCSC min-max problems. We emphasize that such generalization of Epoch-GD for strongly convex minimization problems to Epoch-GDA for SCSC min-max problems is non-trivial and requires novel technical analysis. Moreover, we notice that the key lemma can also be used for proving the convergence of Epoch-GDA for weakly-convex strongly-concave min-max problems, leading to a nearly optimal complexity without resorting to smoothness or other structural conditions.

研究の動機と目的

• 強い凸性と強い凹性の下で、確率的最小最大化最適化の収束速度理論におけるギャップを埋めること。
• 凸最小化から最小最大化問題へとエポック単位勾配降下フレームワーク（Epoch-GD）を拡張すること。
• 滑らかさや双線形構造などの追加仮定なしに、一般のSCSC問題における双対ギャップの最適 $O(1/T)$ 収束速度を確立すること。
• 滑らかさや双線形構造に依存しない、Epoch-GDAの鋭い解析を提供し、弱い凸・強い凹問題へと一般化し、ほぼ最適な複雑度を達成すること。

提案手法

• エポック単位の確率的勾配降下上昇（Epoch-GDA）アルゴリズムを導入し、各エポック内で確率的勾配を用いてプライム変数と双対変数を更新する。
• 収束を高速化するために、エポック間で幾何級数的に減少するステップサイズを採用し、Epoch-GDと同様の構造を活用する。
• 強い凸性と強い凹性を介して反復点と基準解を結ぶことで、双対ギャップをバインドするための鍵となる技術的補題を用いる。
• エポックごとのテレスコピック和の議論を用いて、累積的な収束バウンドを導出する。
• 目的関数の $x$ における強い凸性と $y$ における強い凹性を活用し、反復点と最適解との距離を制御する。
• 補助変数 $\hat{x}_k(y)$ や $\hat{y}_k(x)$ を含むノルム分解と凸性不等式の組み合わせにより、双対ギャップのバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性と強い凹性を満たす最小最大化問題に対して、エポック単位勾配降下フレームワークを効果的に拡張できるか？
• RQ2 滑らかさや構造的仮定なしに、一般のSCSC最小最大化問題において双対ギャップの $O(1/T)$ 収束速度を達成できるか？
• RQ3 提案されたEpoch-GDA法は、滑らかさや双線形構造に依存せず、弱い凸・強い凹問題に対しても最適収束を達成できるか？
• RQ4 滑らかさや特別な関数構造が欠如する状況で、双対ギャップを解析するために必要な新たな技術的ツールは何か？

主な発見

• 提案されたEpoch-GDA法は、一般の強い凸・強い凹（SCSC）最小最大化問題において、双対ギャップの最適 $O(1/T)$ 収束速度を達成する。
• この解析により、滑らかさ、双線形構造、またはその他の制限的仮定なしに、同様の最適レートを達成する最初の結果が得られた。
• 鍵となる技術的補題により、強い凸性と強い凹性を介して反復点と基準解を結ぶことで、双対ギャップをバインドできる。
• 滑らかさや構造的条件に依存せず、弱い凸・強い凹問題に対してもほぼ最適な複雑度を達成する。
• 反復点と最適解との距離を制御するための非自明な収束解析が行われ、新たな分解技術が不可欠である。
• 結果として、凸最小化から最小最大化最適化へとエポック-GDフレームワークを一般化し、理論的進展として顕著である。