[論文レビュー] On Last-Iterate Convergence Beyond Zero-Sum Games

Ioannis Anagnostides, Ioannis Panageas+2 more|arXiv (Cornell University)|Mar 22, 2022

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿は、定数和多行列ゲーム、戦略的にゼロ和ゲーム、およびポテンシャルゲームを含む広範な非ゼロ和ゲームにおいて、楽観的ミラー降下（OMD）および楽観的勾配降下（OGD）の最終反復収束を確立する。第二階層の経路長を制限するレジーットに基づく分析を導入することで、著者たちは、プレイヤーが異なるアルゴリズムや正則化子を使用しても、O(1/√T) の収束速度と O(1) のレジーットバウンドを達成し、OMD がナッシュ均衡に収束するか、あるいはレジーット価格の経済的非効率性を上回る効率性を達成することを示している。

ABSTRACT

Most existing results about \emph{last-iterate convergence} of learning dynamics are limited to two-player zero-sum games, and only apply under rigid assumptions about what dynamics the players follow. In this paper we provide new results and techniques that apply to broader families of games and learning dynamics. First, we use a regret-based analysis to show that in a class of games that includes constant-sum polymatrix and strategically zero-sum games, dynamics such as \emph{optimistic mirror descent (OMD)} have \emph{bounded second-order path lengths}, a property which holds even when players employ different algorithms and prediction mechanisms. This enables us to obtain $O(1/\sqrt{T})$ rates and optimal $O(1)$ regret bounds. Our analysis also reveals a surprising property: OMD either reaches arbitrarily close to a Nash equilibrium, or it outperforms the \emph{robust price of anarchy} in efficiency. Moreover, for potential games we establish convergence to an $ε$-equilibrium after $O(1/ε^2)$ iterations for mirror descent under a broad class of regularizers, as well as optimal $O(1)$ regret bounds for OMD variants. Our framework also extends to near-potential games, and unifies known analyses for distributed learning in Fisher's market model. Finally, we analyze the convergence, efficiency, and robustness of \emph{optimistic gradient descent (OGD)} in general-sum continuous games.

研究の動機と目的

• 二プレイヤー零和ゲームを超えた一般和ゲームにおける最終反復収束保証の欠如に対処すること。
• すべてのプレイヤーが同一の学習ダイナミクスを使用しなければならないという制限的な仮定を緩和すること。
• 市場における分散学習および連続ゲームにおける既存の分析を統合・拡張すること。
• OMDダイナミクスがナッシュ均衡に収束するか、あるいはレジーット価格の経済的非効率性を超える効率性を達成することを確立すること。
• ポテンシャルゲームおよび近似ポテンシャルゲームにおける ε-均衡を達成するための最適な O(1) レジーットと O(1/ε²) イテレーション複雑度を提供すること。

提案手法

• レジーットに基づく分析フレームワークを導入し、レジーットに依存する利得の変動（RVU）特性と学習ダイナミクスにおける第二階層の経路長の境界を結びつける。
• この経路長の境界を用いて、レジーットの和が非負であるゲームにおける OMD に対して、O(1/√T) の収束速度と O(1) の個別レジーットバウンドを導出する。
• 一般正則化子の下で RVU 条件を満たすことを確認することで、定数和多行列ゲームおよび戦略的にゼロ和ゲームにこのフレームワークを適用する。
• 広範な正則化子クラスを用いたミラー降下を用いてポテンシャルゲームに拡張し、ε-均衡に到達するまでの O(1/ε²) イタレーションを証明する。
• 連続的一般和ゲームにおける OGD を分析し、弱い条件下での収束を示し、小さな摂動下での安定性を特定する。
• H次予測メカニズムと混合正則化（例：ユークリッド距離および負のエントロピー）を用いて、実験的根拠を検証する。

実験結果

リサーチクエスチョン

• RQ1 二プレイヤー零和ゲームを超えた一般和ゲームにおいて、最終反復収束を保証できるか？
• RQ2 プレイヤーが異なる学習アルゴリズムや正則化子を使用する場合でも、最終反復収束は成立するか？
• RQ3 レジーットに基づく分析を再利用して、非ゼロ和ゲームにおける経路長の境界と収束保証を確立できるか？
• RQ4 最終反復収束とレジーット価格の経済的非効率性の間にはどのような関係があるか？
• RQ5 さまざまな正則化子と予測メカニズムの下で、OMD と OGD は連続的非制限一般和ゲームでどのように振る舞うか？

主な発見

• 定数和多行列ゲームおよび戦略的にゼロ和ゲームにおいて、OMD は、異種のダイナミクスが存在しても O(1/√T) の収束速度と O(1) のレジーットを達成する。
• ポテンシャルゲームでは、広範な正則化子を用いたミラー降下が、O(1/ε²) イテレーションで ε-均衡に収束し、既知の最適レートに一致する。
• OMD ダイナミクスは、ナッシュ均衡に収束するか、あるいはレジーット価格の経済的非効率性を超える社会的福祉を達成するが、これは驚くべき効率保証である。
• このフレームワークは、ファイザー市場モデルおよび近似ポテンシャルゲームにおける分散学習の既存分析を統合・拡張する。
• 連続的一般和ゲームにおいて OGD は均衡に収束し、ゲームがほぼゼロ和である場合には収束速度が 1 に近く線形となる。
• 実験により、理論的境界が厳密に適用されない場合でも、混合正則化（例：ユークリッド距離および負のエントロピー）の下で安定した収束が確認された。