[論文レビュー] Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling

Dmitry Kovalev, Alexander Gasnikov+1 more|arXiv (Cornell University)|Dec 30, 2021

Advanced Optimization Algorithms Research被引用数 8

ひとこと要約

本稿では、双線形結合を伴う滑らかで凸-凹なサドルポイント問題に対して、加速されたプライマル・デュアル勾配法（APDG）を提案する。強凸-強凹な状況では最適な線形収束を達成し、一方で片方の関数のみが強凸であるか、いずれも強凸でない場合にも加速収束を達成する。強凸性や凹性の仮定がなくても線形収束を達成でき、最悪ケースにおいて既知の下界と一致する。

ABSTRACT

In this paper we study the convex-concave saddle-point problem $\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$, where $f(x)$ and $g(y)$ are smooth and convex functions. We propose an Accelerated Primal-Dual Gradient Method (APDG) for solving this problem, achieving (i) an optimal linear convergence rate in the strongly-convex-strongly-concave regime, matching the lower complexity bound (Zhang et al., 2021), and (ii) an accelerated linear convergence rate in the case when only one of the functions $f(x)$ and $g(y)$ is strongly convex or even none of them are. Finally, we obtain a linearly convergent algorithm for the general smooth and convex-concave saddle point problem $\min_x \max_y F(x,y)$ without the requirement of strong convexity or strong concavity.

研究の動機と目的

• 滑らかで凸-凹なサドルポイント問題に、双線形結合を伴う加速プライマル・デュアル法を開発すること。
• 強凸-強凹な状況において、既知の下界に一致する最適な線形収束を達成すること。
• 片方の関数のみが強凸であるか、いずれも強凸でない場合にも収束保証を拡張すること。
• 強凸性や凹性の仮定なしに線形収束するアルゴリズムを提供すること。

提案手法

• 適応的ステップサイズとモーメンタム項を用いた、加速されたプライマル・デュアル勾配（APDG）法を提案。収束を加速する。
• 収束解析に、プライマルおよびデュアル反復、勾配の差分、モーメンタム項を組み込んだリャプノフ関数 Ψ^k を使用。
• 反復間でのリャプノフ関数の減少を評価することで収束レートを導出。Ψ^{k+1} ≤ θΨ^k（θ < 1）を満たすように保証。
• 問題の条件数および結合強度に依存するパラメータ η_x, η_y, θ を導入し、プライマルおよびデュアルの進行をバランスさせる。
• 収束レートを最適化するためのパラメータ δ を導入。異なる収束状況に応じて、最適値が別々に導出される。
• 勾配の変動、プライマル・デュアル反復、モーメンタム効果を組み合わせた再帰的不等式を確立し、収束を確立。

実験結果

リサーチクエスチョン

• RQ1 加速されたプライマル・デュアル法は、双線形結合を伴う凸-凹なサドルポイント問題に対して、最適な線形収束を達成できるか？
• RQ2 片方の関数のみが強凸であるか、いずれも強凸でない場合に、収束レートを加速できるか？
• RQ3 強凸性や凹性の仮定なしに、一般の滑らかで凸-凹なサドルポイント問題に対して線形収束を達成できるか？
• RQ4 異なる正則性条件の下で達成可能な最適な収束レートは何か？ また、提案手法は既知の下界と一致するか？

主な発見

• APDG法は、強凸-強凹な状況において、Zhangら（2021）が示した下界に一致する最適な線形収束レートを達成する。
• 片方の関数のみが強凸であるか、いずれも強凸でない場合、加速された線形収束レートを達成し、標準的なプライマル・デュアル法を上回る。
• 強凸性や凹性の仮定なしに、一般の滑らかで凸-凹なサドルポイント問題に対して線形収束するアルゴリズムを提供する。
• 収束レートは k ≥ (1/(1−θ)) log(C/ε) として定量的に評価され、θ < 1 かつ C は ε に依存しない。これにより線形収束が保証される。
• 5つの異なる状況（双線形問題および正則化されたERM問題を含む）において、最先端の手法と比較して、収束レートが同等または優れている。
• 理論的解析により、強凸-強凹な状況において、手法の収束レートが最適であることが確認された。Zhangら（2021）が確立した下界と一致する。