[논문 리뷰] The route to chaos in routing games: Population increase drives period-doubling instability, chaos & inefficiency with Price of Anarchy equal to one

Thiparat Chotibut, Fryderyk Falniowski외 2명|arXiv (Cornell University)|2019. 06. 01.

Game Theory and Applications인용 수 1

한 줄 요약

이 논문은 선형 비용 함수와 승수 가중치 갱신을 갖는 라우팅 게임을 인구 규모가 증가하는 조건에서 연구하여, 높은 수요가 학습 동역학에서 주기 두重 분기와 혼돈을 유도함을 밝혀내며, 정확한 평형 유량에 수렴함에도 불구하고 시간 평균 사회적 비용이 최악 수준에 이르게 되는 결과를 도출한다—이는 평형 분석에서의 가성적인 예측을 뒤집는다.

ABSTRACT

We study a learning dynamic model of routing (congestion) games to explore how an increase in the total demand influences system performance. We focus on non-atomic routing games with two parallel edges of linear cost, where all agents evolve using Multiplicative Weights Updates with a fixed learning rate. Previous game-theoretic equilibrium analysis suggests that system performance is close to optimal in the large population limit, as seen by the Price of Anarchy reduction. In this work, however, we reveal a rather undesirable consequence of non-equilibrium phenomena driven by population increase. As the total demand rises, we prove that the learning dynamics unavoidably become non-equilibrating, typically chaotic. The Price of Anarchy predictions of near-optimal performance no longer apply. To the contrary, the time-average social cost may converge to its worst possible value in the large population limit. Every system has a carrying capacity, above which the dynamics is non-equilibrating. If the equilibrium flow is a symmetric $50-50\%$ split, the system exhibits one period-doubling bifurcation. A single periodic attractor of period two replaces the attracting fixed point when the demand exceeds the carrying capacity. In general, for asymmetric equilibrium flows, increasing the demand destabilizes the system, so that the system eventually becomes Li-Yorke chaotic with positive topological entropy. This demand-driven instability emerges from any pair of linear cost functions. Remarkably, in any non-equilibrating regime, the time-average flows on the edges converge {\it exactly} to the equilibrium flows, a property akin to no-regret learning in zero-sum games. Our results extend to any sequence of shrinking learning rates, e.g., $1/\sqrt{T}$, by allowing for a dynamically increasing population size.

연구 동기 및 목표

• 비원자 라우팅 게임에서 선형 비용 함수를 갖는 시스템의 성능에 인구 규모 증가가 미치는 영향을 조사하기 위해.
• 수요 증가가 학습 동역학에 끼치는 영향을 분석하여, 혼돈과 같은 평형이 아닌 행동의 발생을 조사하기 위해.
• 동역학이 평형이 아닌 경우, 가격의 낙제(Price of Anarchy)가 성능 예측자로서의 타당성을 검토하기 위해.
• 혼란 상태에서도 시간 평균 유량이 평형 유량으로 수렴하는지 탐색하기 위해.
• 동적으로 증가하는 인구 규모 하에서 감소하는 학습률, 예를 들어 $1/\sqrt{T}$로의 일반화를 위해.

제안 방법

• 고정된 학습률을 갖는 승수 가중치 갱신을 사용하는 두 개의 평행 간선에서 선형 비용 함수를 갖는 라우팅 게임 모델링.
• 수요 증가에 따라 주기 두重 분기의 연속이 발생하는 동역학적 행동을 분기 이론을 통해 분석.
• 대칭 평형($50\!-\!50\%$)의 경우, 임계 수요 임계값을 초과하면 단일 주기 두重 분기 발생을 증명.
• 증가하는 수요 하에서 비대칭 평형은 양의 위상적 엔트로피를 갖는 리-요르크(Li-Yorke) 혼돈 상태로 전이됨을 확립.
• 혼란 상태에서도 시간 평균 유량이 정확히 평형 유량으로 수렴함을 입증하며, 이는 0-합 게임에서의 no-regret 학습과 유사함.
• 동적으로 증가하는 인구 규모 하에서 감소하는 학습률, 예를 들어 $1/\sqrt{T}$로 결과를 확장.

실험 결과

연구 질문

• RQ1 총 수요가 증가함에 따라 선형 비용 함수를 갖는 비원자 라우팅 게임에서 학습 동역학의 안정성은 어떻게 영향을 받는가?
• RQ2 수요가 임계값을 초과할 경우, 분기나 혼돈과 같은 동역학적 전이가 어떻게 발생하는가?
• RQ3 비평형 상태에서 시간 평균 사회적 비용이 평형 예측에서 얼마나 벗어나는가?
• RQ4 개별 유량이 수렴하지 않더라도 혼란 상태에서 시스템이 여전히 평형 유량으로 수렴하는가?
• RQ5 증가하는 인구 규모 하에서 감소하는 학습률, 예를 들어 $1/\sqrt{T}$로의 결과 일반화는 어떻게 이루어지는가?

주요 결과

• 총 수요가 시스템 고유의 수용 능력 이하를 초과하면, 대칭 평형의 경우 안정 고정점이 주기 두 개의 흡인점으로 대체되는 주기 두重 분기 발생.
• 비대칭 평형의 경우 수요 증가로 인해 양의 위상적 엔트로피를 갖는 리-요르크 혼돈 상태로 전이되며, 이는 복잡하고 예측 불가능한 동역학을 의미함.
• 혼란 상태임에도 불구하고 두 간선의 시간 평균 유량은 정확히 평형 유량으로 수렴함—이는 0-합 게임에서의 no-regret 학습과 유사한 성질.
• 시간 평균 사회적 비용은 대규모 인구 근처에서 최악의 값으로 수렴할 수 있으며, 이는 가격의 낙제가 제시하는 낙관적 예측과 모순됨.
• 가격의 낙제는 평형 상태에서 근사 최적 성능을 암시하지만, 수요 증가로 인한 비평형 상태에서는 시스템 효율성을 예측하지 못함.
• 동적으로 증가하는 인구 규모 하에서 감소하는 학습률, 예를 들어 $1/\sqrt{T}$로 결과를 확장함으로써 수렴성 및 불안정성 성질을 유지함.