[論文レビュー] The route to chaos in routing games: When is Price of Anarchy too optimistic?

Thiparat Chotibut, Fryderyk Falniowski+2 more|arXiv (Cornell University)|Jun 6, 2019

Game Theory and Applications参考文献 80被引用数 5

ひとこと要約

本稿は、価格の悪化（PoA）が正確に1に等しい線形コストを伴う単純な非アトミックルーティングゲームですら、システム需要が増加するにつれて、乗法的ウェイト更新（MWU）ダイナミクスが不安定かつカオス的になる可能性があることを示している。均衡は社会的に最適であるが、周期倍分岐とLi-Yorkeカオスによって、時間平均社会的コストは最悪の値に達する可能性があり、PoAのような均衡指標の予測力が損なわれる。

ABSTRACT

Routing games are amongst the most studied classes of games. Their two most well-known properties are that learning dynamics converge to equilibria and that all equilibria are approximately optimal. In this work, we perform a stress test for these classic results by studying the ubiquitous dynamics, Multiplicative Weights Update, in different classes of congestion games, uncovering intricate non-equilibrium phenomena. As the system demand increases, the learning dynamics go through period-doubling bifurcations, leading to instabilities, chaos and large inefficiencies even in the simplest case of non-atomic routing games with two paths of linear cost where the Price of Anarchy is equal to one. Starting with this simple class, we show that every system has a carrying capacity, above which it becomes unstable. If the equilibrium flow is a symmetric $50-50\%$ split, the system exhibits one period-doubling bifurcation. A single periodic attractor of period two replaces the attracting fixed point. Although the Price of Anarchy is equal to one, in the large population limit the time-average social cost for all but a zero measure set of initial conditions converges to its worst possible value. For asymmetric equilibrium flows, increasing the demand eventually forces the system into Li-Yorke chaos with positive topological entropy and periodic orbits of all possible periods. Remarkably, in all non-equilibrating regimes, the time-average flows on the paths converge exactly to the equilibrium flows, a property akin to no-regret learning in zero-sum games. These results are robust. We extend them to routing games with arbitrarily many strategies, polynomial cost functions, non-atomic as well as atomic routing games and heteregenous users. Our results are also applicable to any sequence of shrinking learning rates, e.g., $1/\sqrt{T}$, by allowing for a dynamically increasing population size.

研究の動機と目的

• 非協力的割当ゲームの学習ダイナミクスにおける、価格の悪化（PoA）のような均衡に基づく効率保証のロバスト性を調査すること。
• システム需要の増加に伴って、学習ダイナミクスがナッシュ均衡に収束するか否かを検討すること。
• 単純なルーティングゲームですら、MWUが均衡に到達しないカオス的行動を示す条件を同定すること。
• 均衡に到達しない状態における、時間平均的パフォーマンス、レグレット、社会的コストの関係を調査すること。
• 結果をアトミック、非アトミック、多項式コスト、異種ユーザーを伴う割当ゲームへと拡張すること。

提案手法

• 線形コスト関数を伴う2戦略非アトミック混雑度ゲームにおける乗法的ウェイト更新（MWU）のダイナミクスを分析すること。
• 分岐理論と力学系解析を用いて、安定な均衡から極限サイクルおよびカオスへの遷移を同定すること。
• 系が減少するステップサイズにもかかわらずカオス的状態にとどまるかどうかを決定する臨界パラメータ $ a = (α + β)N \ln(1/(1-\epsilon)) $ を導出すること。
• 周期倍分岐によるFeigenbaumのカオスへの道筋を用いて、不安定性の発生を特徴付けること。
• 解析的および数値的妥当性確認を通じて、多戦略ゲーム、多項式コスト関数、アトミックゲーム、異種ユーザーへと結果を拡張すること。
• 時間平均的フローがカオス的状態でも正確にナッシュ均衡フローに収束することを示し、ゼロサムゲームにおけるノーレグレット学習に類似した性質であることを明らかにすること。

実験結果

リサーチクエスチョン

• RQ1 乗法的ウェイト更新アルゴリズムが非アトミックルーティングゲームにおいて均衡に収束しなくなる条件は何か？
• RQ2 価格の悪化が1である混雑度ゲームにおいて、システム需要の増加が学習ダイナミクスの安定性に与える影響は何か？
• RQ3 すべての均衡が社会的に最適である場合でも、単純な混雑度ゲームでカオス的ダイナミクスが生じる可能性はあるか？
• RQ4 時間平均社会的コストとシステムの力学的状態（均衡対カオス）との関係は何か？
• RQ5 均衡に到達しないカオス的状態において、時間平均的フローとコストが均衡値にどの程度近いか？

主な発見

• 対称的均衡フロー（50-50分割）の場合、需要の増加により単一の周期倍分岐が発生し、周期2の安定な極限サイクルに至る。
• 大人口極限において、ほとんどすべての初期条件に対して時間平均社会的コストは、PoA = 1であるにもかかわらず、最悪の値に収束する。
• 非対称的均衡フローの場合、需要の増加によりLi-Yorkeカオスが発生し、正のトポロジカルエントロピーとすべての可能な周期の周期軌道が存在する。
• カオス的状態であっても、各経路の時間平均的フローは正確にナッシュ均衡フローに収束する。これはノーレグレット学習に類似した性質である。
• 系には有限の容量がある：この閾値を超えると、学習レートが小さくなってもダイナミクスは均衡に到達せず、非効率的になる。
• ゆっくりと増加する人口サイズ（例：時間に対して非線形的）は、ステップサイズが $1/\sqrt{n}$ のように減少しても、系をカオス的状態に長期間維持できる。