[論文レビュー] Near-Optimal No-Regret Learning in General Games

Constantinos Daskalakis, Maxwell Fishelson+1 more|arXiv (Cornell University)|Aug 16, 2021

Advanced Bandit Algorithms Research参考文献 37被引用数 8

ひとこと要約

本稿は、最近性バイアスを持つ単純なノーレグレット学習アルゴリズムであるOptimistic Hedgeが、一般和多プレイヤーゲームにおいて多対数的レグレット、具体的には$O(m \log n \cdot \log^4 T)$を達成することを示している。これは、標準のノーレグレット学習者による$O(\sqrt{T})$レグレットや、先行するオプティミスティック手法による$O(T^{1/4})$の境界と比べて顕著な改善である。この結果は、粗い協調的均衡への収束速度が$\tilde{O}(1/T)$であることを示し、一般ゲームにおける近似的に最適な学習ダイナミクスを確立する。

ABSTRACT

We show that Optimistic Hedge -- a common variant of multiplicative-weights-updates with recency bias -- attains ${ m poly}(\log T)$ regret in multi-player general-sum games. In particular, when every player of the game uses Optimistic Hedge to iteratively update her strategy in response to the history of play so far, then after $T$ rounds of interaction, each player experiences total regret that is ${ m poly}(\log T)$. Our bound improves, exponentially, the $O({T}^{1/2})$ regret attainable by standard no-regret learners in games, the $O(T^{1/4})$ regret attainable by no-regret learners with recency bias (Syrgkanis et al., 2015), and the ${O}(T^{1/6})$ bound that was recently shown for Optimistic Hedge in the special case of two-player games (Chen & Pen, 2020). A corollary of our bound is that Optimistic Hedge converges to coarse correlated equilibrium in general games at a rate of $ ilde{O}\left(\frac 1T ight)$.

研究の動機と目的

• 一般和ゲームにおける最良の既知のレグレット境界と、2人ゼロ和ゲームで達成可能な対数的レグレットの間のギャップを埋めること。
• 単純で実用的な学習アルゴリズムを用いて、多プレイヤー一般和ゲームで多対数的レグレットが達成可能かどうかを特定すること。
• 単純さにもかかわらず、Optimistic Hedgeが一般ゲームにおいて近似的に最適なレグレットを達成できることを確立すること。
• 高速収束と敵対的頑健性の両方を捉える、オプティミスティック学習ダイナミクスの統一的分析フレームワークを提供すること。

提案手法

• 著者らは、戦略の分散と時間経過による損失差の影響を分離する、新たなレグレット分解を用いてOptimistic Hedgeを分析した。
• 損失系列における分散項の洗練された分析を導入し、連続する損失ベクトルの差に上限を適用した。
• 主要な技術的要素として、探索と収束のバランスを取るために、時間に依存するステップサイズ$\eta = \frac{1}{C m \log^4 T}$の使用が挙げられる。
• 証明は、2つの核心的補題に依存している：1つはポテンシャル関数を用いた期待レグレットの上限を示し、もう1つは損失差の分散の増大を制御するものである。
• 分散条件に違反した場合に標準的なステップサイズに切り替えることで、$O(\sqrt{T})$の敵対的レグレットを維持するようにアルゴリズムをさらに適応させた。
• プレイヤーのダイナミクスを分離し、戦略空間の構造を用いて各プレイヤーの累積レグレットを上限することで、多プレイヤー設定への分析を拡張した。

実験結果

リサーチクエスチョン

• RQ1 単純で実装可能な学習アルゴリズムを用いて、一般和多プレイヤーゲームで多対数的レグレットを達成できるか？
• RQ2 最近性バイアスを持つ、乗法的ウェイトの変種であるOptimistic Hedgeは、一般ゲームにおいて標準のノーレグレットアルゴリズムよりも、レグレットレートで優れているか？
• RQ3 一般和ゲームにおけるノーレグレット学習下での、粗い協調的均衡への収束の最適レートは何か？
• RQ4 1つのアルゴリズムが、構造的ゲームでの高速収束と、敵対的設定での頑健性を同時に保証できるか？

主な発見

• Optimistic Hedgeは、一般和多プレイヤーゲームにおいて$O(m \log n \cdot \log^4 T)$のレグレットを達成し、標準のノーレグレット学習者による$O(\sqrt{T})$の境界と比べて顕著な改善を示している。
• このレグレット境界は、一般ゲームで先行するオプティミスティック手法が達成した$O(T^{1/4})$のレートと比べて指数的に優れている。
• 2人ゲームの特別な場合においては、境界が$O(\log^{5/6} n \cdot T^{1/6})$に改善され、この設定で既知の最良の結果と一致する。
• アルゴリズムは$\tilde{O}(1/T)$の速度で粗い協調的均衡に収束し、対数的要因を除いて最適である。
• Optimistic Hedgeの修正版は、構造的ゲーム設定で多対数的レグレットを達成しつつ、$O(\sqrt{T})$の敵対的レグレットを維持する。
• 分析により、収束の高速化の鍵は損失差の分散を制御することにあり、損失の大きさそのものではなくなることが明らかになった。