[論文レビュー] A Tight and Unified Analysis of Gradient-Based Methods for a Whole Spectrum of Games

Waïss Azizian, Ioannis Mitliagkas+2 more|arXiv (Cornell University)|Jun 13, 2019

Advanced Optimization Algorithms Research参考文献 42被引用数 4

ひとこと要約

本稿では、微分可能なゲームにおける勾配ベース手法——特に拡張勾配（EG）、楽観的勾配（OG）、コンセンサス最適化（CO）——の統一的スペクトル解析を提示する。双線形から強単調な設定に至るまで、全範囲をカバーする。これらの手法が問題構造に応じて収束メカニズムを適応的に変化させることを明らかにし、よりタイトなグローバル収束レートを確立。さらに、多段階予測法のクラスの中でEGが最適な収束速度を達成することを証明する。

ABSTRACT

We consider differentiable games where the goal is to find a Nash equilibrium. The machine learning community has recently started using variants of the gradient method (GD). Prime examples are extragradient (EG), the optimistic gradient method (OG) and consensus optimization (CO), which enjoy linear convergence in cases like bilinear games, where the standard GD fails. The full benefits of theses relatively new methods are not known as there is no unified analysis for both strongly monotone and bilinear games. We provide new analyses of the EG's local and global convergence properties and use is to get a tighter global convergence rate for OG and CO. Our analysis covers the whole range of settings between bilinear and strongly monotone games. It reveals that these methods converge via different mechanisms at these extremes; in between, it exploits the most favorable mechanism for the given problem. We then prove that EG achieves the optimal rate for a wide class of algorithms with any number of extrapolations. Our tight analysis of EG's convergence rate in games shows that, unlike in convex minimization, EG may be much faster than GD.

研究の動機と目的

• 双線形ゲームと強単調ゲームの両方において、局所的・グローバル的収束を統合する、一貫したextragradient（EG）の分析を提供すること。
• 収束速度の上界と下界を用いて、EG、GD、多段階予測法の理論的比較を実施すること。
• スペクトル解析を拡張し、OGとCOのよりタイトなグローバル収束保証を導出し、問題構造に応じた適応的収束メカニズムを明らかにすること。
• 任意の数の予測ステップを持つ多段階予測アルゴリズムの広いクラスの中で、EGが最適な収束速度を達成することを証明すること。

提案手法

• EGのスペクトル解析を実施し、双線形から強単調な設定に至る全範囲にわたる局所的収束速度を導出する。
• Arjevaniら（2016）の枠組みを活用・拡張し、任意の予測ステップ数を持つ1ステーションナリーキャノニカル線形反復法の下界を導出する。
• Tsengの誤差バインディングと新規のグローバルレート解析を用いて、強単調性と特異値バインディングの両方を組み込むことで、EG、OG、COの収束保証を向上させる。
• 補題1および補題16を適用し、均衡における反復写像のスペクトル半径を分析し、収束をヤコビアンの固有構造に関連付ける。
• EGのグローバル収束速度を導出し、その結果をOGとCOへ同一フレームワークで拡張する。
• ランダム行列ゲームのさまざまな次元において、$\eta\mu / (\eta\mu + \frac{7}{16}\eta^2\gamma^2)$ の比を測定することで、新しいグローバルレートの改善を経験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 1つの解析が、双線形ゲームと強単調ゲームの両方におけるEGの収束行動をどのように統一できるか？
• RQ2 多段階予測法で達成可能な最適な収束速度は何か？EGはその最適性を満たすか？
• RQ3 OGとCOは、双線形と強単調の間の中間的設定でどのように収束するのか？その性能の背後にあるメカニズムは何か？
• RQ4 強単調性（$\mu$）に加えて特異値情報（$\gamma$）を組み込むことで、グローバル収束速度はどの程度向上するか？
• RQ5 EGのスペクトル解析を拡張し、OGとCOのよりタイトなグローバル収束保証を提供できるか？

主な発見

• EGの提案されたグローバル収束速度は $\frac{1}{4}\left(\frac{\mu}{L} + \frac{\gamma^2}{16L^2}\right)$ であり、既存の結果よりもタイトで、設定にわたる一貫性を有する。
• OGのグローバル収束速度は $\frac{1}{4}\left(\frac{\mu}{L} + \frac{\gamma^2}{32L^2}\right)$ であり、従来の境界を上回る性能を示す。
• COのグローバル収束速度は $\frac{\mu^2}{2L_H^2} + \frac{\gamma^2}{2L_H^2}$ であり、強単調性と特異値情報の両方を組み込んでいる。
• スペクトル解析により、EGの収束速度がタイトであることが確認され、特に双線形ゲームにおいてGDよりも顕著に優れていることが示された。
• 下界の証明により、予測ステップ数を増やすか、異なるステップサイズを用いることで顕著な改善が得られないことが判明し、EGがこのクラスにおいて最適性を有することを裏付けた。
• 経験的評価では、$\eta^2\gamma^2 \gg \eta\mu$ の場合、特にプレイヤーの次元がバランスしている場合に、新しいレートが標準レートを最大2倍まで改善することが示された。