[논문 리뷰] The route to chaos in routing games: When is Price of Anarchy too optimistic?

Thiparat Chotibut, Fryderyk Falniowski외 2명|arXiv (Cornell University)|2019. 06. 06.

Game Theory and Applications참고 문헌 80인용 수 5

한 줄 요약

이 논문은 선형 비용을 가진 간단한 비원자적 라우팅 게임에서 조차, 가격의 난처함(Price of Anarchy)이 정확히 1이지만 시스템 수요가 증가함에 따라 승수 가중치 업데이트(Multiplicative Weights Update, MWU) 동역학이 불안정하고 혼돈스러워질 수 있음을 보여준다. 균형이 사회적으로 최적임에도 불구하고, 주기 두重 분기와 Li-Yorke 혼돈으로 인해 시간 평균 사회적 비용이 가능한 한 최악의 값에 도달할 수 있으며, 이는 PoA와 같은 균형 지표의 예측 능력을 약화시킨다.

ABSTRACT

Routing games are amongst the most studied classes of games. Their two most well-known properties are that learning dynamics converge to equilibria and that all equilibria are approximately optimal. In this work, we perform a stress test for these classic results by studying the ubiquitous dynamics, Multiplicative Weights Update, in different classes of congestion games, uncovering intricate non-equilibrium phenomena. As the system demand increases, the learning dynamics go through period-doubling bifurcations, leading to instabilities, chaos and large inefficiencies even in the simplest case of non-atomic routing games with two paths of linear cost where the Price of Anarchy is equal to one. Starting with this simple class, we show that every system has a carrying capacity, above which it becomes unstable. If the equilibrium flow is a symmetric $50-50\%$ split, the system exhibits one period-doubling bifurcation. A single periodic attractor of period two replaces the attracting fixed point. Although the Price of Anarchy is equal to one, in the large population limit the time-average social cost for all but a zero measure set of initial conditions converges to its worst possible value. For asymmetric equilibrium flows, increasing the demand eventually forces the system into Li-Yorke chaos with positive topological entropy and periodic orbits of all possible periods. Remarkably, in all non-equilibrating regimes, the time-average flows on the paths converge exactly to the equilibrium flows, a property akin to no-regret learning in zero-sum games. These results are robust. We extend them to routing games with arbitrarily many strategies, polynomial cost functions, non-atomic as well as atomic routing games and heteregenous users. Our results are also applicable to any sequence of shrinking learning rates, e.g., $1/\sqrt{T}$, by allowing for a dynamically increasing population size.

연구 동기 및 목표

• 비교적 단순한 라우팅 게임에서 조차, 가격의 난처함(PoA)과 같은 균형 기반 효율성 보장의 견고성을 학습 동역학의 난류 게임에서 조사하기 위해.
• 시스템 수요가 증가함에 따라 학습 동역학이 나시 균형에 수렴하는지 여부를 검토하기 위해.
• 간단한 라우팅 게임에서도 MWU가 비균형적이고 혼돈스러운 행동을 유도할 수 있는 조건을 규명하기 위해.
• 균형이 이루어지지 않는 영역에서 시간 평균 성능, 회귀, 사회적 비용 간의 관계를 탐색하기 위해.
• 결과를 원자적, 비원자적, 다항식 비용, 이질적 사용자 라우팅 게임으로 확장하기 위해.

제안 방법

• 선형 비용 함수를 가진 이전략 비원자적 난류 게임에서 승수 가중치 업데이트(MWU)의 동역학을 분석하기 위해.
• 균형에서 안정한 상태에서 주기적 궤도와 혼돈으로의 전이를 식별하기 위해 분기 이론과 동역학계 분석을 사용하기 위해.
• 시스템이 점차 줄어드는 단계 크기에도 불구하고 혼돈 상태에 머무를 수 있는지 결정하는 임계 매개변수 $ a = (α + β)N \ln(1/(1-\epsilon)) $ 를 유도하기 위해.
• 주기 두重 분기로 인한 Feigenbaum 혼돈 경로를 통해 불안정성 발생을 특성화하기 위해.
• 분석적 및 수치적 검증을 통해 다전략 게임, 다항식 비용 함수, 원자적 게임, 이질적 사용자로 결과를 확장하기 위해.
• 혼돈 상태에서도 시간 평균 유량이 균형 값으로 수렴함을 보여주었으며, 이는 0-합 게임에서의 no-regret 학습과 유사한 성질이다.

실험 결과

연구 질문

• RQ1 승수 가중치 업데이트 알고리즘이 비원자적 라우팅 게임에서 균형에 수렴하지 못하는 조건은 무엇인가?
• RQ2 가격의 난처함이 1인 난류 게임에서 시스템 수요 증가가 학습 동역학의 안정성에 어떤 영향을 미치는가?
• RQ3 모든 균형이 사회적으로 최적일 때조차도 단순한 난류 게임에서 혼돈 동역학이 발생할 수 있는가?
• RQ4 시간 평균 사회적 비용과 시스템의 동역학적 제도(균형 대 혼돈) 간의 관계는 무엇인가?
• RQ5 균형이 이루어지지 않는 혼돈 상태에서 시간 평균 유량과 비용이 균형 값에 얼마나 가까이 유지되는가?

주요 결과

• 대칭적 균형 유량(50-50 분할)의 경우, 수요 증가로 인해 단일 주기 두重 분기가 발생하여 주기 2의 안정한 주기 궤도로 이어진다.
• 대규모 인구 수의 극한에서, 거의 모든 초기 조건에 대해 시간 평균 사회적 비용이 가능한 한 최악의 값으로 수렴한다. 이는 PoA = 1임에도 불구하고 그렇다.
• 비대칭적 균형 유량의 경우, 수요 증가로 인해 양의 위상 엔트로피와 모든 가능한 주기의 주기 궤도를 가진 Li-Yorke 혼돈이 발생한다.
• 혼돈 상태에서도 각 경로의 시간 평균 유량이 정확히 나시 균형 유량으로 수렴한다. 이는 no-regret 학습과 유사한 성질이다.
• 시스템은 유한한 수용 능력을 가진다. 이 임계값을 초과하면, 학습률이 점차 줄어들더라도 동역학은 비균형적이고 비효율적이 된다.
• 서서히 증가하는 인구 규모(예: 시간에 대해 비선형적)는 학습률이 $1/\sqrt{n}$처럼 작아지는 경우에도 시스템이 혼돈 상태에 무한히 머물도록 유지할 수 있다.