[論文レビュー] Linear Last-iterate Convergence in Constrained Saddle-point Optimization

Chen-Yu Wei, Chung‐Wei Lee+2 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques参考文献 46被引用数 8

ひとこと要約

本稿は、制約付きサドルポイント最適化における最急降下勾配降下法（OGDA）および予測的乗法的重み更新法（OMWU）の線形最後反復収束を確立し、定数学習率での指数的収束を保証する新しい「サドルポイントメトリック部分正則性（SP-MS）」条件を導入する。双線形ゲーム（特に多面体上、行列ゲームも含む）において、一意な均衡を仮定せず、線形収束を示し、先行研究を著しく一般化する。実験により本手法の有効性を検証する。

ABSTRACT

Optimistic Gradient Descent Ascent (OGDA) and Optimistic Multiplicative Weights Update (OMWU) for saddle-point optimization have received growing attention due to their favorable last-iterate convergence. However, their behaviors for simple bilinear games over the probability simplex are still not fully understood - previous analysis lacks explicit convergence rates, only applies to an exponentially small learning rate, or requires additional assumptions such as the uniqueness of the optimal solution. In this work, we significantly expand the understanding of last-iterate convergence for OGDA and OMWU in the constrained setting. Specifically, for OMWU in bilinear games over the simplex, we show that when the equilibrium is unique, linear last-iterate convergence is achieved with a learning rate whose value is set to a universal constant, improving the result of (Daskalakis & Panageas, 2019b) under the same assumption. We then significantly extend the results to more general objectives and feasible sets for the projected OGDA algorithm, by introducing a sufficient condition under which OGDA exhibits concrete last-iterate convergence rates with a constant learning rate whose value only depends on the smoothness of the objective function. We show that bilinear games over any polytope satisfy this condition and OGDA converges exponentially fast even without the unique equilibrium assumption. Our condition also holds for strongly-convex-strongly-concave functions, recovering the result of (Hsieh et al., 2019). Finally, we provide experimental results to further support our theory.

研究の動機と目的

• OGDAおよびOMWUの制約付きサドルポイント問題に対する既存の解析における明示的収束速度の欠如と、指数的に小さい学習率への依存を解消すること。
• 特に均衡が一意でない場合に、確率単体上での双線形ゲームにおける最後反復収束の理解のギャップを埋めること。
• 一意な均衡や単体の仮定を越えて収束保証を一般化するため、新しい十分条件「サドルポイントメトリック部分正則性（SP-MS）」を導入すること。
• 任意の多面体上での双線形ゲームにおいて、OGDAが一意な均衡がなくても定数学習率で指数的収束を達成できることを示すこと。
• 理論的結果を実験的に検証し、行列ゲームにおいてOGDAがOMWUよりも収束速度が速いことを示すこと。

提案手法

• 滑らかで凸-凹なサドルポイント問題におけるOGDAの最後反復収束のための十分条件として、サドルポイントメトリック部分正則性（SP-MS）条件を導入する。
• OGDAが$T$反復後に平均双対ギャップ収束レート$\mathcal{O}(1/\sqrt{T})$を達成することを証明し、SP-MSのもとでは定数学習率での明示的な最後反復収束レートを達成できることを示す。
• 任意の多面体上での双線形ゲームがSP-MS条件を満たすことを示し、複数の均衡が存在する場合でもOGDAの指数的収束を可能にする。
• SP-MSが強凸-強凹関数に対しても成り立つことを示し、Hsiehら（2019）の先行結果が特殊ケースとして回復されることを示す。
• 非多面体の定義域を持つ反例を構築し、OGDAが線形収束を達成しないことを示し、定義域の幾何構造の重要性を強調する。
• Kullback-Leibler発散の境界とリャプノフ関数の議論を組み合わせた解析的手法を用いて、SP-MSのもとでの収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 確率単体上での双線形ゲームにおいて、一意な均衡を仮定せず、OGDAが線形最後反復収束を達成できるか？
• RQ2 目的関数および定義域にどのような条件が課されると、OGDAが定数学習率で最後反復収束を達成できるか？
• RQ3 SP-MS条件は多面体上での双線形ゲームに成立するか？また、OGDAの指数的収束を示唆するか？
• RQ4 行列ゲームにおいて、OGDAとOMWUの性能は、収束速度および学習率依存性の観点でどのように比較できるか？
• RQ5 SP-MS条件は線形収束に対して必要か十分か？非多面体の定義域では失敗するか？

主な発見

• OMWUは、一意な均衡をもつ単体上での双線形ゲームにおいて、普遍的な定数学習率で線形最後反復収束を達成し、Daskalakis & Panageas（2019b）の結果を改善する。
• OGDAは、SP-MS条件のもとで、一意な均衡がなくても任意の多面体上での双線形ゲームにおいて指数的最後反復収束を達成する。
• SP-MS条件は多面体上での双線形ゲームおよび強凸-強凹関数において成立し、先行研究を一般化する。
• SP-MS条件はすべての定義域で成立するわけではない。非多面体の定義域を持つ反例において、OGDAは線形収束を達成しないことが明確に示された。
• 実験結果により、OGDAは行列ゲームにおいてOMWUよりも収束が速く、両者とも指数的収束を達成しているにもかかわらず、SP-MSフレームワーク下でのOGDAの実用的利点が示された。
• 下界解析により、特定の例で$\|\bm{z}_t - \bm{z}^*\| \geq \Omega(1/t)$が成り立つことが確認され、収束レートが対数因子を除いてタイトであることが示された。