[論文レビュー] Proximal Point Approximations Achieving a Convergence Rate of O(1/k) for Smooth Convex-Concave Saddle Point Problems: Optimistic Gradient and Extra-gradient Methods.

Aryan Mokhtari, Asuman Ozdaglar+1 more|arXiv (Cornell University)|Jun 3, 2019

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

この論文は、滑らかな凸-凹なサドルポイント問題におけるオプティミスティック勾配降下・上昇（OGDA）法の最初の O(1/k) 収束レートを確立している。OGDA とエキストラ勾配（EG）法をプロキシマルポイント法の近似として解釈することで、両手法が有界な反復点を生成し、平均化された反復点を用いてプライマル・デュアルギャップが O(1/k) のレートで収束することを証明している。コン pact な仮定を必要としない、簡素化された収束解析を提供している。

ABSTRACT

We study the iteration complexity of the optimistic gradient descent-ascent (OGDA) method and the extra-gradient (EG) method for finding a saddle point of a convex-concave unconstrained min-max problem. To do so, we first show that both OGDA and EG can be interpreted as approximate variants of the proximal point method. This is similar to the approach taken in [Nemirovski, 2004] which analyzes EG as an approximation of the `conceptual mirror prox'. In this paper, we highlight how gradients used in OGDA and EG try to approximate the gradient of the Proximal Point method. We then exploit this interpretation to show that both algorithms produce iterates that remain within a bounded set. We further show that the primal dual gap of the averaged iterates generated by both of these algorithms converge with a rate of $\mathcal{O}(1/k)$. Our theoretical analysis is of interest as it provides a the first convergence rate estimate for OGDA in the general convex-concave setting. Moreover, it provides a simple convergence analysis for the EG algorithm in terms of function value without using compactness assumption.

研究の動機と目的

• 滑らかな凸-凹なミニマックス問題におけるオプティミスティック勾配降下・上昇（OGDA）法の収束レートを確立すること。
• OGDA とエキストラ勾配（EG）法がプロキシマルポイント法の近似として解釈できることを示すこと。
• 平均化された反復点のプライマル・デュアルギャップが、両手法において O(1/k) のレートで収束することを証明すること。
• コン pact な仮定を必要としないEG法の収束解析を簡素化すること。
• OGDA と EG が生成する反復点が、与えられた条件下で有界な集合内に留まることを示すこと。

提案手法

• プロキシマルポイント法の近似としてOGDAとEGを解釈し、勾配の近似を用いてプロキシマルポイントの理想更新を模倣すること。
• プロキシマルポイント解釈を用いて、滑らかで凸-凹な仮定の下でOGDAとEGの反復点の有界性を確立すること。
• 平均化された反復点のプライマル・デュアルギャップを分析し、O(1/k) 収束レートを導出すること。
• コン pact な仮定を回避する新しい解析フレームワークを適用し、EGの収束証明を簡素化すること。
• OGDA と EG の勾配ステップが、実際にはプロキシマルポイントの勾配を効果的に近似しており、この近似を通じて収束保証が可能であることを確立すること。

実験結果

リサーチクエスチョン

• RQ1 滑らかな凸-凹なサドルポイント問題において、オプティミスティック勾配降下・上昇（OGDA）法は O(1/k) の収束レートを達成できるか？
• RQ2 アルゴリズム的構造と収束の観点から、OGDA とエキストラ勾配（EG）法はプロキシマルポイント法とどのように関係しているか？
• RQ3 凸-凹な条件下で、平均化された反復点のプライマル・デュアルギャップがOGDA と EG の両方で O(1/k) に収束するか？
• RQ4 コン pact な仮定に依存しないEG法の収束解析を簡素化できるか？
• RQ5 OGDA と EG は一般の凸-凹設定において有界な反復点を生成するか？

主な発見

• OGDA 法は、滑らかな凸-凹なサドルポイント問題において、平均化された反復点のプライマル・デュアルギャップに対して O(1/k) の収束レートを達成しており、この設定におけるOGDAの最初のレート推定である。
• 滑らかで凸-凹な仮定の下で、OGDA と EG は両方とも有界な反復点を生成し、最適化中の反復点の安定性を保証する。
• エキストラ勾配法はコン pact な仮定を必要とせず、プライマル・デュアルギャップにおいて O(1/k) の収束を達成しており、理論的解析が簡素化される。
• プロキシマルポイント解釈は、両手法の収束行動を統一的に説明するフレームワークを提供し、理想のプロキシマル更新を近似することで実現する。
• 解析により、OGDA と EG の勾配ステップが、実際にはプロキシマルポイント法の勾配を効果的に模倣しており、この近似を通じて収束保証が可能であることが明らかになった。