[論文レビュー] Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry

Ziyi Chen, Yi Zhou+2 more|arXiv (Cornell University)|Feb 9, 2021

Sparse and Compressive Sensing Techniques参考文献 39被引用数 8

ひとこと要約

本稿は、非凸強凸最小最大化最適化におけるKurdyka-Łojasiewicz (KŁ) 構造下で、最初の変数収束保証を、近位勾配降下・上昇（GDA）に対して確立した。著者らは、反復点を臨界点へ導く単調減少する新たなリャプノフ関数を導入し、KŁパラメータに応じて線形または部分線形収束レートを示すことを証明した。これは、非凸最小最大化設定における変数収束に関する長年の未解決問題を解消するものである。

ABSTRACT

The gradient descent-ascent (GDA) algorithm has been widely applied to solve minimax optimization problems. In order to achieve convergent policy parameters for minimax optimization, it is important that GDA generates convergent variable sequences rather than convergent sequences of function values or gradient norms. However, the variable convergence of GDA has been proved only under convexity geometries, and there lacks understanding for general nonconvex minimax optimization. This paper fills such a gap by studying the convergence of a more general proximal-GDA for regularized nonconvex-strongly-concave minimax optimization. Specifically, we show that proximal-GDA admits a novel Lyapunov function, which monotonically decreases in the minimax optimization process and drives the variable sequence to a critical point. By leveraging this Lyapunov function and the KŁ geometry that parameterizes the local geometries of general nonconvex functions, we formally establish the variable convergence of proximal-GDA to a critical point $x^*$, i.e., $x_t o x^*, y_t o y^*(x^*)$. Furthermore, over the full spectrum of the KŁ-parameterized geometry, we show that proximal-GDA achieves different types of convergence rates ranging from sublinear convergence up to finite-step convergence, depending on the geometry associated with the KŁ parameter. This is the first theoretical result on the variable convergence for nonconvex minimax optimization.

研究の動機と目的

• 非凸最小最大化最適化における勾配降下・上昇（GDA）が変数収束を達成するかどうかという根本的な未解決問題を解消すること。
• Kurdyka-Łojasiewicz (KŁ) 条件でパラメータ化される局所関数幾何が、GDAの収束レートにどのように影響するかを特定すること。
• 非凸強凸最小最大化問題における変数収束を分析するための新しい理論枠組みを確立すること。
• 従来の凸-凹または強凸-強凹幾何から、一般の非凸設定へ収束結果を拡張すること。

提案手法

• 正則化された非凸強凸最小最大化問題に対する近位-GDAアルゴリズムを提案する。
• 最適化プロセス全体で単調に減少する新たなリャプノフ関数を導入する。
• KŁ幾何を用いて局所非凸関数幾何をパラメータ化し、この一般枠組み下での収束を分析する。
• 異なるKŁパラメータ領域におけるリャプノフ関数の減衰を分析することで、収束レートの上限を導出する。
• 再帰的不等式と和分推定を用いて、反復点と臨界点との距離を評価する。
• 両方の収束 $\|x_t - x^*\| \to 0$ と $\|y_t - y^*(x^*)\| \to 0$ を証明することで、変数収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 GDAは非凸最小最大化最適化で変数収束を達成するのか。もし達成するなら、どの点に収束するのか？
• RQ2 目的関数の局所幾何（KŁパラメータで捉えられる）は、GDAの収束レートにどのように影響するか？
• RQ3 非凸強凸設定下で、反復点を臨界点へ導く単調減少を保証するリャプノフ関数を構築可能か？
• RQ4 異なるKŁパラメータ値のもとで、GDAが達成可能な収束レートのスケールはどのようなものか？

主な発見

• 近位-GDAアルゴリズムは、KŁ幾何下で臨界点 $x^*$, $y^*(x^*)$ へ変数収束する。すなわち、$x_t \to x^*$ かつ $y_t \to y^*(x^*)$ である。
• KŁパラメータ $\theta$ に応じて、収束レートは部分線形から有限ステップ収束まで変動する。$\theta \in (0, \frac{1}{2})$ の場合、$\|x_t - x^*\| = \mathcal{O}((t - t_0)^{-\theta/(1 - 2\theta)})$ となる。
• $\theta = \frac{1}{2}$ の場合、収束レートは線形である：$\|x_t - x^*\| = \mathcal{O}(\min(2, 1 + \frac{1}{2Mc^2})^{-t/2})$。
• KŁパラメータが $\theta \in (\frac{1}{2}, 1)$ の場合、収束レートは有限ステップ収束に改善されるが、提供されたテキストではこの領域の詳細は明示されていない。
• 新規のリャプノフ関数は単調減少を保証し、非凸設定下での変数収束分析を可能にする。
• 本研究は、非凸最小最大化最適化におけるGDAの最初の理論的変数収束保証を確立し、文献における重要なギャップを埋めた。