[論文レビュー] Last Iterate is Slower than Averaged Iterate in Smooth Convex-Concave Saddle Point Problems

Noah Golowich, Sarath Pattathil+2 more|arXiv (Cornell University)|Jan 31, 2020

Stochastic Gradient Optimization Techniques被引用数 17

ひとこと要約

この論文は、滑らかで凸-凹なサドルポイント問題における拡張勾配（Extragradient: EG）アルゴリズムの最終反復が $O(1/\sqrt{T})$ のレートで収束することを確立しており、これは平均化（エルゴディック）反復の $O(1/T)$ のレートよりも著しく遅い。本論文は、一致する $\Omega(1/\sqrt{T})$ の下界を用いて、この設定における最終反復と平均化反復の収束速度の間の2次的隔たりを示している。

ABSTRACT

In this paper we study the smooth convex-concave saddle point problem. Specifically, we analyze the last iterate convergence properties of the Extragradient (EG) algorithm. It is well known that the ergodic (averaged) iterates of EG converge at a rate of $O(1/T)$ (Nemirovski, 2004). In this paper, we show that the last iterate of EG converges at a rate of $O(1/\\sqrt{T})$. To the best of our knowledge, this is the first paper to provide a convergence rate guarantee for the last iterate of EG for the smooth convex-concave saddle point problem. Moreover, we show that this rate is tight by proving a lower bound of $\\Omega(1/\\sqrt{T})$ for the last iterate. This lower bound therefore shows a quadratic separation of the convergence rates of ergodic and last iterates in smooth convex-concave saddle point problems.

研究の動機と目的

• 滑らかで凸-凹なサドルポイント問題における拡張勾配（EG）アルゴリズムの最終反復の収束挙動を分析すること。
• EGの最終反復に対するタイトな収束レートを確立し、既知の $O(1/T)$ のエルゴディック反復のレートと対比すること。
• このクラスの問題における最終反復と平均化反復の収束速度の根本的な隔たりを示すこと。
• 上界と一致する下界を提供することで、$O(1/\sqrt{T})$ のレートが最終反復に対して最適であることを証明すること。

提案手法

• 著者たちは、滑らかで凸-凹なサドルポイント問題の文脈において、拡張勾配（EG）アルゴリズムを分析する。
• 関数 $f(\mathbf{x}, \mathbf{y})$ の滑らかさと凸-凹構造を用いて、最終反復の収束レートに対する上界を導出する。
• 特定の問題インスタンスを構築することで、最終反復の収束レートに対する $\Omega(1/\sqrt{T})$ の下界を証明する。
• サドルポイントギャップと反復の軌道の性質を活用して、上界のタイトネスを確立する。
• 最悪ケース解析と、上界と一致する悪意ある関数の明示的構築を組み合わせた証明技法を用いる。

実験結果

リサーチクエスチョン

• RQ1 滑らかで凸-凹なサドルポイント問題における拡張勾配アルゴリズムの最終反復の収束レートは何か？
• RQ2 この設定において、最終反復の収束レートはエルゴディック（平均化）反復のそれと比べてどうなるか？
• RQ3 最終反復の収束レートに対する $O(1/\sqrt{T})$ の上界はタイトか？
• RQ4 このクラスの問題において、最終反復に対する $\Omega(1/\sqrt{T})$ の下界を確立できるか？

主な発見

• 滑らかで凸-凹なサドルポイント問題において、拡張勾配アルゴリズムの最終反復は $O(1/\sqrt{T})$ のレートで収束する。
• このレートがタイトであることが証明されており、本論文は一致する下界 $\Omega(1/\sqrt{T})$ を確立している。
• 最終反復の収束レートは、エルゴディック反復の $O(1/T)$ のレートよりも2乗的に遅い。
• 本論文は、この設定におけるEGの最終反復に対する最初の収束レート保証を提供している。
• この結果は、滑らかで凸-凹なサドルポイント問題における最終反復と平均化反復の収束速度の根本的な性能格差を明らかにしている。
• 分析により、滑らかさと凸-凹仮定が成り立つ場合でさえ、最終反復はより速い $O(1/T)$ のレートを達成できないことが確認された。