[論文レビュー] The route to chaos in routing games: Population increase drives period-doubling instability, chaos & inefficiency with Price of Anarchy equal to one

Thiparat Chotibut, Fryderyk Falniowski+2 more|arXiv (Cornell University)|Jun 1, 2019

Game Theory and Applications被引用数 1

ひとこと要約

本稿は、線形コスト関数と乗法的重み更新を用いた非アトミックルーティングゲームにおいて、人口が増加する条件下での学習ダイナミクスを研究し、需要の増加が周期倍分岐およびカオスを引き起こすことを明らかにした。これは、正確に均衡フローに収束するにもかかわらず、時間平均社会的コストが最悪状態に達することを示しており、均衡解析における価格の社会的余剰（PoA）の楽観的予測と矛盾する。

ABSTRACT

We study a learning dynamic model of routing (congestion) games to explore how an increase in the total demand influences system performance. We focus on non-atomic routing games with two parallel edges of linear cost, where all agents evolve using Multiplicative Weights Updates with a fixed learning rate. Previous game-theoretic equilibrium analysis suggests that system performance is close to optimal in the large population limit, as seen by the Price of Anarchy reduction. In this work, however, we reveal a rather undesirable consequence of non-equilibrium phenomena driven by population increase. As the total demand rises, we prove that the learning dynamics unavoidably become non-equilibrating, typically chaotic. The Price of Anarchy predictions of near-optimal performance no longer apply. To the contrary, the time-average social cost may converge to its worst possible value in the large population limit. Every system has a carrying capacity, above which the dynamics is non-equilibrating. If the equilibrium flow is a symmetric $50-50\%$ split, the system exhibits one period-doubling bifurcation. A single periodic attractor of period two replaces the attracting fixed point when the demand exceeds the carrying capacity. In general, for asymmetric equilibrium flows, increasing the demand destabilizes the system, so that the system eventually becomes Li-Yorke chaotic with positive topological entropy. This demand-driven instability emerges from any pair of linear cost functions. Remarkably, in any non-equilibrating regime, the time-average flows on the edges converge {\it exactly} to the equilibrium flows, a property akin to no-regret learning in zero-sum games. Our results extend to any sequence of shrinking learning rates, e.g., $1/\sqrt{T}$, by allowing for a dynamically increasing population size.

研究の動機と目的

• 線形コスト関数を有する非アトミックルーティングゲームにおける、人口の増加がシステム性能に与える影響を調査すること。
• 需要の増大が学習ダイナミクスに与える影響、特に均衡に収束しない行動（例：カオス）の出現を分析すること。
• ダイナミクスが均衡に収束しない場合に、価格の社会的余剰（PoA）が性能予測として有効であるかどうかを検証すること。
• カオス的状態でも時間平均フローが均衡フローに収束するかどうかを検討すること。
• 動的増加する人口サイズの下で、学習率が $1/\sqrt{T}$ のように減少する場合への結果の拡張を検討すること。

提案手法

• 線形コスト関数を有する2本の並列エッジ上でルーティングゲームをモデル化し、固定の学習率を用いた乗法的重み更新を用いるエージェントを想定する。
• 特に需要の増加に伴う周期倍分岐の連鎖を解析することで、系の力学的挙動を分岐理論を用いて分析する。
• 対称的均衡（$50\!-\!50\%$）において、臨界需要閾値を超えると単一の周期倍分岐が発生することを証明する。
• 需要の増加に伴い非対称的均衡がLi-Yorkeカオスとなり、正のトポロジカルエントロピーを示すことを確立する。
• カオス的状態でも時間平均フローが正確に均衡フローに収束することを示し、ゼロサムゲームにおけるノーレグレット学習に類似した性質を示す。
• 動的増加する人口サイズをモデル化することで、学習率が $1/\sqrt{T}$ のように減少する場合への結果の拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 総需要が増加する場合、線形コスト関数を有する非アトミックルーティングゲームにおける学習ダイナミクスの安定性にどのような影響を与えるか？
• RQ2 需要が臨界閾値を超えて増大する際、分岐やカオスのような力学的遷移がどのように発生するか？
• RQ3 均衡に収束しない状態において、時間平均社会的コストが均衡予測からどの程度逸脱するか？
• RQ4 個々のフローが収束しないにもかかわらず、カオス的ダイナミクスにおいてもシステムは依然として均衡フローに収束するのか？
• RQ5 動的増加する人口サイズの下で、学習率が $1/\sqrt{T}$ のように減少する場合、結果はどのように一般化されるか？

主な発見

• 総需要がシステム固有の容量を超えると、学習ダイナミクスは周期倍分岐を経験し、対称的均衡の状況では安定な固定点が周期2の吸引子に置き換わる。
• 非対称的均衡では、需要の増加に伴いLi-Yorkeカオスが発生し、正のトポロジカルエントロピーを示すことで、複雑で予測不能なダイナミクスであることが示される。
• カオス的ダイナミクスであっても、2本のエッジにおける時間平均フローは正確に均衡フローに収束する。これはゼロサムゲームにおけるノーレグレット学習に類似した性質である。
• 時間平均社会的コストは、大人口極限において最悪の値に収束する可能性があり、これは価格の社会的余剰（PoA）の楽観的予測と矛盾する。
• 価格の社会的余剰（PoA）は、均衡状態では近似的に最適な性能を示すが、需要増加に伴う非均衡的ダイナミクスでは、システム効率を予測できない。
• 人口サイズを動的に増加させることで、学習率が $1/\sqrt{T}$ のように減少する場合への結果の拡張が可能となり、収束性および不安定性の性質が保持される。