[논문 리뷰] Follow-the-Regularized-Leader Routes to Chaos in Routing Games

Jakub Bielawski, Thiparat Chotibut외 4명|arXiv (Cornell University)|2021. 02. 16.

Game Theory and Applications참고 문헌 47인용 수 6

한 줄 요약

이 논문은 고정된 학습률을 가진 비원자적 혼잡도 게임에서 Follow-the-Regularized-Leader (FoReL) 역학을 조사하며, 모집단 규모나 비용 척도를 증가시키면 안정성과 혼돈이 발생함을 보여주며, 특히 단순한 이중 링크 게임에서도 Li-Yorke 혼돈과 양의 위상 엔트로피를 포함한 혼돈이 발생함을 입증한다. 비록 궤적이 혼돈스럽더라도, 시간 평균 행동은 항상 정확한 내쉬 균형으로 수렴한다.

ABSTRACT

We study the emergence of chaotic behavior of Follow-the-Regularized Leader (FoReL) dynamics in games. We focus on the effects of increasing the population size or the scale of costs in congestion games, and generalize recent results on unstable, chaotic behaviors in the Multiplicative Weights Update dynamics to a much larger class of FoReL dynamics. We establish that, even in simple linear non-atomic congestion games with two parallel links and any fixed learning rate, unless the game is fully symmetric, increasing the population size or the scale of costs causes learning dynamics to become unstable and eventually chaotic, in the sense of Li-Yorke and positive topological entropy. Furthermore, we show the existence of novel non-standard phenomena such as the coexistence of stable Nash equilibria and chaos in the same game. We also observe the simultaneous creation of a chaotic attractor as another chaotic attractor gets destroyed. Lastly, although FoReL dynamics can be strange and non-equilibrating, we prove that the time average still converges to an exact equilibrium for any choice of learning rate and any scale of costs.

연구 동기 및 목표

• 고정된, 점점 줄어들지 않는 학습률 하에서 혼잡도 게임에서 FoReL 학습의 동적 행동을 분석하고, 표준의 회귀 최소화 프레임워크에서 벗어나는 것을 목표로 한다.
• 이전에 다각도적 가중치 업데이트(MWU)에서 관찰된 혼돈 행동이, 다양한 정규화자를 가진 더 넓은 범위의 FoReL 역학으로 일반화되는지 조사한다.
• 동일한 게임에서 안정된 균형점, 한계 순환, 혼돈 등 다양한 궤적을 동시에 공존시키는지 탐색한다.
• 개별 궤적이 혼돈스러울지라도 시간 평균 시스템 행동이 여전히 규칙적이고 수렴하는지 확인한다.
• 모든 비용 척도와 모집단 규모에 대해 균형 수렴성이 강건함을 입증한다. 이는 개인의 역학이 예측 불가능할지라도 여전히 성립한다.

제안 방법

• 전략 비중에 따라 비용이 증가하는 두 개의 병렬 링크를 가진 비원자적 혼잡도 게임을 모델링하며, 선형 비용 함수를 사용한다.
• 정규화된 누적 비용 최소화를 바탕으로 업데이트 규칙을 유도하기 위해 다양한 정규화자(로그-바리에이션, Havrda-Charvát-Tsallis 엔트로피)를 적용한 FoReL 역학을 적용한다.
• 분기 분석 및 위상 엔트로피 계산과 같은 동역학 시스템 이론 도구를 사용하여 안정성과 혼돈 전이를 연구한다.
• FoReL 업데이트 규칙에서 유도된 일차원 재귀 맵을 통해 궤적과 주기 두重화 연속체를 시각화한다.
• 비판적 점 초기화를 사용한 수치 시뮬레이션을 통해 분기 다이어그램을 생성하고 공존하는 궤적을 식별한다.
• 불변성과 에르고딕성 추론을 사용하여, 혼돈스러운 행동에도 불구하고 시간 평균 전략 수열이 항상 정확한 내쉬 균형으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 고정된 학습률 하에서, 두 링크 게임에서도 모집단 규모나 비용 척도를 증가시키면 FoReL 역학에서 혼돈 행동이 유도되는가?
• RQ2 동일한 혼잡도 게임에서 FoReL 역학 하에 안정적인 내쉬 균형점과 혼돈 궤적이 동시에 공존할 수 있는가?
• RQ3 정규화자 선택(예: 로그-바리에이션, 타일라스 엔트로피)이 주기 두重화 및 공존 궤적과 같은 복잡한 역학의 발생에 어떤 역할을 하는가?
• RQ4 매개변수 변화 중에 한 궤적이 생성되면서 다른 궤적이 동시에 파괴되는 것이 가능한가?
• RQ5 개별 궤적이 혼돈스러울지라도 FoReL 역학의 시간 평균 행동이 여전히 내쉬 균형으로 수렴하는가?

주요 결과

• 모든 고정된 학습률에 대해, 두 링크 선형 혼잡도 게임에서 모집단 규모나 비용 척도를 증가시키면, 양의 위상 엔트로피와 Li-Yorke 혼돈으로 인해 불안정성과 혼돈이 발생한다.
• 특히 로그-바리에이션 및 Havrda-Charvát-Tsallis 정규화자 하에서, 국소적으로 안정된 내쉬 균형점과 혼돈 역학이 동일한 게임에서 공존함을 관찰한다.
• 비판적 점 궤적의 다중 경로를 포함한 분기 다이어그램을 통해, 매개변수 변화 중에 한 혼돈 궤적이 생성되고 다른 궤적이 동시에 소멸하는 현상이 관찰된다.
• Havrda-Charvát-Tsallis 엔트로피에 대해 $ q = 0.5 $일 때를 포함한 여러 정규화자에 대해 주기 두重화로의 길이 혼돈이 관찰되며, 이는 보편적인 혼돈 전이를 확인한다.
• 개별 궤적이 혼돈스럽더라도, 모든 학습률과 비용 척도에서 시간 평균 전략 수열은 정확히 내쉬 균형으로 수렴한다.
• 동일한 매개변수 영역 내에서도 초기 조건에 따라 비균일한 궤적 행동을 보이는 비표준 역학 현상이 시스템에서 관찰된다.