[論文レビュー] Adaptive extra-gradient methods for min-max optimization and games

Kimon Antonakopoulos, Veronica Belmega+1 more|arXiv (Cornell University)|Oct 22, 2020

Stochastic Gradient Optimization Techniques参考文献 47被引用数 8

ひとこと要約

本稿では、問題の滑らかさを事前にチューニングすることなく、自動的にそれに適応するアダプティブなエキストラゲンチル法AdaProxを導入する。Finsler計量とアダプティブステップサイズを備えたミラー・プロックステンプレートを用いることで、滑らかな問題では𝒪(1/T)、滑らかでない問題では𝒪(1/√T)の順序最適収束レートを達成する。これは、リプシッツ連続性や有界性の仮定を必要とせず、非有界または特異な状況下でも成立する。

ABSTRACT

We present a new family of min-max optimization algorithms that automatically exploit the geometry of the gradient data observed at earlier iterations to perform more informative extra-gradient steps in later ones. Thanks to this adaptation mechanism, the proposed method automatically detects whether the problem is smooth or not, without requiring any prior tuning by the optimizer. As a result, the algorithm simultaneously achieves order-optimal convergence rates, i.e., it converges to an $\varepsilon$-optimal solution within $\mathcal{O}(1/\varepsilon)$ iterations in smooth problems, and within $\mathcal{O}(1/\varepsilon^2)$ iterations in non-smooth ones. Importantly, these guarantees do not require any of the standard boundedness or Lipschitz continuity conditions that are typically assumed in the literature; in particular, they apply even to problems with singularities (such as resource allocation problems and the like). This adaptation is achieved through the use of a geometric apparatus based on Finsler metrics and a suitably chosen mirror-prox template that allows us to derive sharp convergence rates for the methods at hand.

研究の動機と目的

• 問題の滑らかさに関する事前知識がなくとも、min-max最適化で最適収束レートを達成する挑戦に取り組む。
• リプシッツ定数やドメイン直径といったパラメータの事前チューニングを必要とする従来手法の制限を克服する。
• 観測された勾配データに基づいて、問題の局所的幾何構造に自動的に適応するアルゴリズムを開発する。
• 非有界ドメインや特異性が一般的に見られるリソース配分やゲーム理論的問題において、より弱い仮定のもとで収束を保証する。
• とりわけ非単調な設定において有用な、反復平均に依存しない最後の反復の収束保証を提供する。

提案手法

• 問題の勾配構造における局所的幾何構造と特異性を捉えるために、Finsler計量フレームワークを導入する。
• Rakhlin & Sridharan (2013) のインスピレーションを受けて、アダプティブステップサイズを備えたミラー・プロックステンプレートを採用し、滑らかさに自動的に適合する。
• 二段階の更新を実施：中間反復$X_{t+1/2}$による予測ステップと、$X_{t+1}$を用いた補正ステップ。
• 進捗を解集合への到達度として測定するために、Bregman発散$D(x,y)$を用い、安定性と収束性を保証する。
• Fenchelの不等式とFinslerノルムの性質を用いて収束バウンドを導出し、鋭いレート保証を達成する。
• 最後の反復の収束を確立するために、新規の数値不等式（補題F.1）を用い、(MS)条件のもとで普遍的な性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 エキストラゲンチル法は、滑らかさに関する事前知識がなくとも、滑らかでないmin-max問題の両方で順序最適収束レートを達成できるか？
• RQ2 リプシッツ連続性や有界性の仮定を必要とせず、非有界ドメインや特異性が存在する状況でも収束可能か？
• RQ3 滑らかさを自動的に検出し、それに応じてステップサイズを調整するアダプティブなポリシーを設計可能か？
• RQ4 非単調または複雑なゲーム設定において、反復平均に依存せず、最後の反復が収束可能か？
• RQ5 Finsler計量の使用は、標準的なユークリッド距離やBregmanベースのアプローチと比較して、収束保証をどのように改善するか？

主な発見

• AdaProxは滑らかなmin-max問題で𝒪(1/T)の収束レート、滑らかでない問題で𝒪(1/√T)の収束レートを達成し、理論的下界と一致する。
• 問題の滑らかさモジュラス、リプシッツ定数、ドメイン直径に関する事前知識がなくても収束が保証される。
• 特異性や非有界ドメインを含む問題に対しても収束が保証され、標準的な仮定が成立しない状況でも有効である。
• アルゴリズムは(MS)条件のもとで最後の反復の収束を保証し、Polyak–Ruppert平均とは対照的に実用的である。
• 収束解析は、標準的なノルムよりも問題の局所的幾何構造を的確に捉える、新規のFinsler計量に基づくフレームワークに依存する。
• Fenchel型不等式と数列補題(F.1)に基づくアダプティブステップサイズポリシーにより、問題クラスにわたる普遍的な性能が実現される。