[論文レビュー] Follow-the-Regularized-Leader Routes to Chaos in Routing Games

Jakub Bielawski, Thiparat Chotibut+4 more|arXiv (Cornell University)|Feb 16, 2021

Game Theory and Applications参考文献 47被引用数 6

ひとこと要約

本稿は、固定学習率を用いた非アトミックな混雑ゲームにおけるフォローザ・レギュライズド・リーダー（FoReL）ダイナミクスを調査し、集団の規模を増加させたりコストスケールを大きくしたりすると、単純な2リンクゲームですら不安定性やカオス（特にLi-Yorkeカオスおよび正のトポロジカルエントロピーを伴うカオス）を引き起こすことを示している。個々の軌道がカオス的であっても、時間平均的な振るまいは常に正確なナッシュ均衡に収束する。

ABSTRACT

We study the emergence of chaotic behavior of Follow-the-Regularized Leader (FoReL) dynamics in games. We focus on the effects of increasing the population size or the scale of costs in congestion games, and generalize recent results on unstable, chaotic behaviors in the Multiplicative Weights Update dynamics to a much larger class of FoReL dynamics. We establish that, even in simple linear non-atomic congestion games with two parallel links and any fixed learning rate, unless the game is fully symmetric, increasing the population size or the scale of costs causes learning dynamics to become unstable and eventually chaotic, in the sense of Li-Yorke and positive topological entropy. Furthermore, we show the existence of novel non-standard phenomena such as the coexistence of stable Nash equilibria and chaos in the same game. We also observe the simultaneous creation of a chaotic attractor as another chaotic attractor gets destroyed. Lastly, although FoReL dynamics can be strange and non-equilibrating, we prove that the time average still converges to an exact equilibrium for any choice of learning rate and any scale of costs.

研究の動機と目的

• 固定され、消えない学習率の下で、FoReL学習のダイナミクス的挙動を分析し、標準的なレギュレート最小化の枠組みとは逸脱する。
• 従来、乗法的ウェイト更新（MWU）で観察されたカオス的挙動が、異なる正則化子を用いたFoReLダイナミクスの広いクラスに一般化されるかを調査する。
• 同じゲーム内において、安定な均衡、極限円周、カオスといった複数のアトラクターが共存するかを調査する。
• 個々の軌道がカオス的であっても、時間平均的なシステムの挙動が依然として正規で収束するかを特定する。
• 個々のダイナミクスが予測不能であっても、任意のコストスケーリングおよび集団サイズに対して、均衡への収束が頑健であることを確立する。

提案手法

• 戦略の共有割合に応じてコストが増加する2本の並列リンクを有する非アトミックな混雑ゲームをモデル化し、線形コスト関数を用いる。
• 正則化子（対数バリア、Havrda-Charvát-Tsallisエントロピー）を用いたFoReLダイナミクスを適用し、正則化された累積コストの最小化に基づく更新則を導出する。
• 分岐解析やトポロジカルエントロピーの計算といった、力学系理論の道具を用いて安定性およびカオス的遷移を分析する。
• FoReL更新則から導かれる1次元の再帰的写像を用い、アトラクターおよび周期倍増分岐の可視化を可能にする。
• 臨界点の初期化を用いた数値シミュレーションにより、分岐図を生成し、共存するアトラクターを同定する。
• 不変性およびエルゴード性の議論を用いて、時間平均戦略列がカオス的挙動にかかわらず、すべての学習率およびコストスケールにおいて正確なナッシュ均衡に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 固定学習率のもとで、集団の規模やコストスケールの増加が、2リンク設定ですらFoReLダイナミクスにカオス的挙動を引き起こすか？
• RQ2 同じ混雑ゲームにおいて、FoReLダイナミクス下で安定なナッシュ均衡とカオス的アトラクターが共存可能か？
• RQ3 正則化子の選択（例：対数バリア、Tsallisエントロピー）が、周期倍増分岐や共存アトラクターといった複雑なダイナミクスの出現に果たす役割は何か？
• RQ4 パrameter変化の過程で、1つのカオス的アトラクターが生成されると同時に別のアトラクターが消失することが可能か？
• RQ5 個々の軌道がカオス的であっても、FoReLダイナミクスの時間平均的挙動がナッシュ均衡に収束し続けるか？

主な発見

• 任意の固定学習率に対して、2リンク線形混雑ゲームにおける集団の規模の増大またはコストスケールの増大は、正のトポロジカルエントロピーおよびLi-Yorkeカオスの証明を伴い、不安定性やカオスを引き起こす。
• 同じゲーム内で、局所的に吸引的なナッシュ均衡とカオス的ダイナミクスが共存することが観察され、特に対数バリアおよびHavrda-Charvát-Tsallis正則化子の下で顕著である。
• パrameter変化の過程で、複数の臨界点軌道を伴う分岐図から、1つのカオス的アトラクターの生成と別のアトラクターの消失が同時に発生することが確認された。
• Havrda-Charvát-Tsallisエントロピー（$ q = 0.5 $）を含む複数の正則化子において、周期倍増分岐ルートによるカオスが観察され、普遍的なカオス的遷移が確認された。
• 個々の軌道がカオス的であっても、時間平均戦略列は、すべての学習率およびコストスケールにおいて正確にナッシュ均衡に収束する。
• 同じパrameter領域内でも初期条件に依存した非一様なアトラクター挙動といった、標準的でないダイナミクス的現象が系に観察された。