[論文レビュー] Proximal Gradient Descent-Ascent: Variable Convergence under K{\L} Geometry

Ziyi Chen, Yi Zhou+2 more|arXiv (Cornell University)|Feb 9, 2021

Sparse and Compressive Sensing Techniques参考文献 41被引用数 2

ひとこと要約

本稿は、非凸強凹最小最大化最適化におけるKurdyka-Łojasiewicz (KŁ)幾何構造下で、proximal gradient descent-ascent (GDA)に対する最初の変数収束保証を確立する。著者らは、反復点を臨界点に導く単調に減少する新たなリャプノフ関数を導入し、KŁパラメータ $ heta$ に応じて、部分線形から有限ステップまでの収束レートを示す。この結果により、非凸最小最大化設定における変数収束に関する根本的な未解決問題が解決される。

ABSTRACT

The gradient descent-ascent (GDA) algorithm has been widely applied to solve minimax optimization problems. In order to achieve convergent policy parameters for minimax optimization, it is important that GDA generates convergent variable sequences rather than convergent sequences of function values or gradient norms. However, the variable convergence of GDA has been proved only under convexity geometries, and there lacks understanding for general nonconvex minimax optimization. This paper fills such a gap by studying the convergence of a more general proximal-GDA for regularized nonconvex-strongly-concave minimax optimization. Specifically, we show that proximal-GDA admits a novel Lyapunov function, which monotonically decreases in the minimax optimization process and drives the variable sequence to a critical point. By leveraging this Lyapunov function and the K{\L} geometry that parameterizes the local geometries of general nonconvex functions, we formally establish the variable convergence of proximal-GDA to a critical point $x^*$, i.e., $x_t o x^*, y_t o y^*(x^*)$. Furthermore, over the full spectrum of the K{\L}-parameterized geometry, we show that proximal-GDA achieves different types of convergence rates ranging from sublinear convergence up to finite-step convergence, depending on the geometry associated with the K{\L} parameter. This is the first theoretical result on the variable convergence for nonconvex minimax optimization.

研究の動機と目的

• 非凸最小最大化最適化におけるGDAの変数収束に関する理論的理解の不足に取り組むこと、特に凸-凹または強凸-強凹の設定を超えた領域において。
• KŁ幾何構造フレームワーク下で、非凸強凹最小最大化問題におけるproximal-GDAが臨界点への変数収束を確立すること。
• KŁパラメータの全範囲にわたるproximal-GDAの収束レートを特定し、局所的幾何構造と収束速度の関係を明らかにすること。
• 反復点 $x_t, y_t$ が臨界点に収束することを保証する単調に減少する新たなリャプノフ関数の構築。

提案手法

• proximal-GDAの反復点に沿って単調に減少する新たなリャプノフ関数 $H(z_t)$ を提案し、臨界点への収束を保証する。
• Kurdyka-Łojasiewicz (KŁ) 幾何構造を用いて局所的非凸幾何をパラメータ化し、強凸性やPŁ条件を一般化する。
• リャプノフ関数と変数差分 $A_t = \|x_t - x^*\|$ を含む再帰的不等式を導出し、収束速度の分析を実施する。
• 再帰的不等式をテレスコープ展開して、累積的変数誤差 $\sum_{s=t}^\infty A_s$ をバウンディングし、$\|x_t - x^*\|$ の収束速度を制御する。
• KŁパラメータ $\theta \in (0,1)$ に基づく3つのケースに分けて分析する：$\theta \in (0, \frac{1}{2})$、$\theta = \frac{1}{2}$、$\theta \in (\frac{1}{2}, 1)$。これにより、異なる収束速度が得られる。
• 最適応答写像 $y^*(x)$ のリプシッツ連続性と不等式の鎖を用いて、$\|y_t - y^*(x^*)\|$ を $\|x_t - x^*\|$ の関数としてバウンディングする。

実験結果

リサーチクエスチョン

• RQ1 GDAは非凸最小最大化最適化において変数収束を達成するか？ もし達成するならば、どの点に収束するか？
• RQ2 目的関数の局所的幾何構造（KŁパラメータ $\theta$ で捉えられる）が、GDAの収束速度にどのように影響するか？
• RQ3 非凸強凹設定において、単調に減少し、変数収束を保証するリャプノフ関数を構築できるか？
• RQ4 KŁパラメータの全範囲にわたるGDAの収束速度は何か？部分線形から有限ステップまでの範囲をカバーする。

主な発見

• KŁ幾何構造下で非凸強凹最小最大化問題におけるproximal-GDAは、臨界点 $x^*, y^*(x^*)$ に収束し、非凸最小最大化最適化における最初の変数収束結果を確立する。
• $\theta \in (\frac{1}{2}, 1)$ の場合、$\|x_t - x^*\|$ の収束速度は $O\left(\exp\left(-\left(\frac{1}{2(1-\theta)}\right)^{t-t_1}\right)\right)$ であり、有限ステップ収束を示唆する。
• $\theta = \nonefrac{1}{2}$ の場合、収束速度は線形：$O\left(\left(\min\left(2, 1 + \frac{1}{2Mc^2}\right)\right)^{-t/2}\right)$。
• $\theta \in (0, \frac{1}{2})$ の場合、収束速度は部分線形：$O\left((t - t_0)^{-\frac{1}{2(1-\theta)}}\right)$。
• $\|y_t - y^*(x^*)\|$ の収束は、$y^*(x)$ のリプシッツ連続性により $\|x_t - x^*\|$ の収束と一致する。
• 提案されたリャプノフ関数 $H(z_t)$ は単調に減少し、変数列を臨界点に導く。これにより収束速度の分析が可能になる。