[論文レビュー] Tight last-iterate convergence rates for no-regret learning in multi-player games

Noah Golowich, Sarath Pattathil+1 more|arXiv (Cornell University)|Oct 26, 2020

Advanced Bandit Algorithms Research参考文献 66被引用数 8

ひとこと要約

本稿は、定数ステップサイズを用いたオプtimistic gradient (OG) アルゴリズムを用いて、多プレイヤーゲームにおけるノーレグレット学習のタイトな最終反復収束レートを確立する。滑らかで単調なゲームにおいて、均衡ギャップ関数への収束レートが $O(1/\sqrt{T})$ であることを証明し、Arjevaniら（2015）の予想を直接証明する新しい適応的ポテンシャル関数技術と、$p$-SCLIアルゴリズム（OGを含む）に対してこのレートが最適であることを示している。

ABSTRACT

We study the question of obtaining last-iterate convergence rates for no-regret learning algorithms in multi-player games. We show that the optimistic gradient (OG) algorithm with a constant step-size, which is no-regret, achieves a last-iterate rate of $O(1/\sqrt{T})$ with respect to the gap function in smooth monotone games. This result addresses a question of Mertikopoulos & Zhou (2018), who asked whether extra-gradient approaches (such as OG) can be applied to achieve improved guarantees in the multi-agent learning setting. The proof of our upper bound uses a new technique centered around an adaptive choice of potential function at each iteration. We also show that the $O(1/\sqrt{T})$ rate is tight for all $p$-SCLI algorithms, which includes OG as a special case. As a byproduct of our lower bound analysis we additionally present a proof of a conjecture of Arjevani et al. (2015) which is more direct than previous approaches.

研究の動機と目的

• 定数ステップサイズを用いた多エージェント学習において、オプティミスティック勾配（OG）のようなエクストラグレディエント法が改善された最終反復収束保証を達成できるかどうかという未解決問題を解消すること。
• 特にOGアルゴリズムについて、滑らかで単調なゲームにおけるノーレグレット学習アルゴリズムの最終反復のタイトな収束レートを確立すること。
• すべての $p$-SCLIアルゴリズム（OGを含む）に対して $O(1/\sqrt{T})$ レートが最適であることを、一致する下界を構築することで証明すること。
• Arjevaniら（2015）の勾配ベース手法の最適性に関する予想を、新しい適応的ポテンシャル関数アプローチを用いて直接証明すること。

提案手法

• 各反復において適応的にポテンシャル関数を選択する新しい証明技術を導入し、オプティミスティック勾配（OG）アルゴリズムの最終反復収束を分析する。
• 滑らかで単調なゲームにおける定数ステップサイズを用いたOGアルゴリズムを分析し、均衡ギャップ関数への収束が $O(1/\sqrt{T})$ のレートで達成されることを示す。
• 二次関数と構造的ヘッシアン行列を用いたハードインスタンスを構築することで、すべての $p$-SCLIアルゴリズム（OGを含む）に対する下界を確立する。
• 反復行列の固有値解析を用いて収束レートをバウンドし、[ASSS15] および [Proposition 8] の結果を用いて固有値半径とアルゴリズムの安定性の関係を確立する。
• 最適化からゲームダイナミクスへの還元を適用し、$p$-SCLI手法の収束を制御された曲率を持つ二次関数の挙動にマッピングする。
• 特異値分解とノルム解析を用いて、下界 $\Omega(\ell D^2 / T)$ を導出し、上界のタイトさを証明する。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズを用いた多プレイヤーゲームにおいて、オプティミスティック勾配（OG）のようなエクストラグレディエント法が改善された最終反復収束レートを達成できるか？
• RQ2 滑らかで単調なゲームにおけるOGの最終反復の $O(1/\sqrt{T})$ 収束レートはタイトか、それ以上に改善可能か？
• RQ3 $p$-SCLIアルゴリズムが滑らかで単調なゲームにおいて最終反復収束の根本的限界は何か？
• RQ4 Arjevaniら（2015）の勾配ベース手法の最適性に関する予想は、間接的還元に依存せずに直接証明可能か？

主な発見

• 定数ステップサイズを用いたオプティミスティック勾配（OG）アルゴリズムは、滑らかで単調なゲームにおいて、ギャップ関数に関して $O(1/\sqrt{T})$ の最終反復収束レートを達成する。
• この $O(1/\sqrt{T})$ レートは、OGを含むすべての $p$-SCLIアルゴリズムに対してタイトであり、一般に滑らかで単調なゲームにおいて、より速い最終反復レートを達成できるアルゴリズムは存在しない。
• 本稿は、Arjevaniら（2015）の勾配ベース手法の最適性に関する予想を、新しい適応的ポテンシャル関数技術を用いて直接証明する。
• 下界構築により、OGのような構造的によいアルゴリズムに対しても、$O(1/\sqrt{T})$ レートは改善できないことが示され、多エージェント学習における根本的限界が確立された。
• 解析により、収束レートがアルゴリズムの反復行列の固有値特性に本質的に依存しており、バウンドがアルゴリズム固有の定数に依存することが明らかになった。
• 結果として、減衰しない学習率に依存せずに、定数ステップサイズ学習が最終反復収束を達成できることを示し、経済的および動的システムの観点からより自然であることが示された。