[論文レビュー] Fast and Furious Learning in Zero-Sum Games: Vanishing Regret with Non-Vanishing Step Sizes

James P. Bailey, Georgios Piliouras|arXiv (Cornell University)|May 11, 2019

Advanced Bandit Algorithms Research参考文献 33被引用数 6

ひとこと要約

本稿は、2人2戦略ゼロサムゲームにおける固定ステップサイズを用いたオンライン勾配降下法について、最初に $Θ(\sqrt{T})$ のサブリニアなレグレットバウンドを確立した。非消える学習率でさえも最適なレグレットを達成できることを示している。主な洞察は、ナッシュ均衡回りの不安定性が障害ではなく、双対空間における報酬軌道のきめ細やかな幾何的制御を可能にし、時間平均として正確なナッシュ均衡への収束をもたらすということである。

ABSTRACT

We show for the first time, to our knowledge, that it is possible to reconcile in online learning in zero-sum games two seemingly contradictory objectives: vanishing time-average regret and non-vanishing step sizes. This phenomenon, that we coin ``fast and furious" learning in games, sets a new benchmark about what is possible both in max-min optimization as well as in multi-agent systems. Our analysis does not depend on introducing a carefully tailored dynamic. Instead we focus on the most well studied online dynamic, gradient descent. Similarly, we focus on the simplest textbook class of games, two-agent two-strategy zero-sum games, such as Matching Pennies. Even for this simplest of benchmarks the best known bound for total regret, prior to our work, was the trivial one of $O(T)$, which is immediately applicable even to a non-learning agent. Based on a tight understanding of the geometry of the non-equilibrating trajectories in the dual space we prove a regret bound of $Θ(\sqrt{T})$ matching the well known optimal bound for adaptive step sizes in the online setting. This guarantee holds for all fixed step-sizes without having to know the time horizon in advance and adapt the fixed step-size accordingly. As a corollary, we establish that even with fixed learning rates the time-average of mixed strategies, utilities converge to their exact Nash equilibrium values.

研究の動機と目的

• ゼロサムゲームにおけるオンライン学習において、レグレットが消えないこととステップサイズが固定されているという相反する目標を調和させること。
• 従来の研究が自明な $O(T)$ バウンドしか得られなかった、固定学習率を用いたオンライン勾配降下法のサブリニアなレグレットバウンドを確立すること。
• 固定ステップサイズであっても、時間平均化された混合戦略および報酬が正確にナッシュ均衡値に収束することを示すこと。
• ナッシュ均衡回りの不安定性（排斥的ダイナミクス）が、タイトなレグレットバウンドを証明するために解析的に利用可能であることを示すこと。

提案手法

• 2戦略ゼロサムゲームにおける報酬ベクトルの双対空間における非均衡的軌道の幾何を分析する。
• ナッシュ均衡回りを回転させつつ、距離を一定量ずつ増加させる報酬ベクトルの線形変換を導入する。
• 1回の回転に要する時間が均衡からの距離に比例することを確立し、反復回数と回転回数との間に2次関係を導く。
• この回転ダイナミクスを用いて、時間枠 $T$ を事前に知らない状況下でも $O(\sqrt{T})$ のレグレットバウンドを導出する。
• マッチングペニーの1例において戦略とレグレットを明示的に追跡することで、$\Omega(\sqrt{T})$ の下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 固定ステップサイズを用いたゼロサムゲームにおいて、時間枠の調整なしにサブリニアなレグレットを達成できるか？
• RQ2 固定学習率を用いた場合でも、時間平均化された戦略および報酬が正確にナッシュ均衡値に収束できるか？
• RQ3 勾配ダイナミクスにおけるナッシュ均衡の不安定性を、よりタイトなレグレットバウンドを証明するために利用できるか？
• RQ4 2人2戦略ゼロサムゲームにおけるオンライン勾配降下法の報酬軌道の背後にある幾何的構造は何か？

主な発見

• 本稿は、任意の固定ステップサイズに対して、オンライン勾配降下法のレグレットバウンドが $O(\sqrt{T})$ であることを証明しており、これは適応的ステップサイズで達成可能な最適バウンドと一致する。
• このレグレットバウンドは、時間枠 $T$ を事前に知らない状況でも成立し、リアルタイムおよびオンライン設定に適用可能である。
• 時間平均化された混合戦略および報酬は、固定学習率であっても正確にナッシュ均衡値に収束する。近似ではなく正確な収束である。
• 解析により、双対空間における報酬ベクトルがナッシュ均衡回りを回転運動し、振幅が増加し、1回の回転に要する時間が距離に比例することが明らかになった。
• $\Omega(\sqrt{T})$ の一致する下界が確立され、$O(\sqrt{T})$ のレグレットバウンドがタイトであることが証明された。