[논문 리뷰] Chaos, Extremism and Optimism: Volume Analysis of Learning in Games

Yun Kuen Cheung, Georgios Piliouras|arXiv (Cornell University)|2020. 05. 28.

Reinforcement Learning in Robotics참고 문헌 20인용 수 11

한 줄 요약

이 논문은 게임에서 학습 역학을 연구하기 위해 이중(집합 수익) 공간에서 부피 분석을 도입한다. 이로써 제로섬 게임에서 승수 가중치 업데이트(MWU)는 부피를 지수적으로 확장하며, 리아푸노프 혼돈, 극단성, 피할 수 없는 행동을 유도한다. 반면 옵timistic MWU(OMWU)는 제로섬 게임에서는 부피를 수축시키지만, 공조 게임에서는 부피를 확장하여, 각각 수렴성과 혼돈 행동을 설명한다.

ABSTRACT

We present volume analyses of Multiplicative Weights Updates (MWU) and Optimistic Multiplicative Weights Updates (OMWU) in zero-sum as well as coordination games. Such analyses provide new insights into these game dynamical systems, which seem hard to achieve via the classical techniques within Computer Science and Machine Learning. The first step is to examine these dynamics not in their original space (simplex of actions) but in a dual space (aggregate payoff space of actions). The second step is to explore how the volume of a set of initial conditions evolves over time when it is pushed forward according to the algorithm. This is reminiscent of approaches in Evolutionary Game Theory where replicator dynamics, the continuous-time analogue of MWU, is known to always preserve volume in all games. Interestingly, when we examine discrete-time dynamics, both the choice of the game and the choice of the algorithm play a critical role. So whereas MWU expands volume in zero-sum games and is thus Lyapunov chaotic, we show that OMWU contracts volume, providing an alternative understanding for its known convergent behavior. However, we also prove a no-free-lunch type of theorem, in the sense that when examining coordination games the roles are reversed: OMWU expands volume exponentially fast, whereas MWU contracts. Using these tools, we prove two novel, rather negative properties of MWU in zero-sum games: (1) Extremism: even in games with unique fully mixed Nash equilibrium, the system recurrently gets stuck near pure-strategy profiles, despite them being clearly unstable from game theoretic perspective. (2) Unavoidability: given any set of good points (with your own interpretation of "good"), the system cannot avoid bad points indefinitely.

연구 동기 및 목표

• 새로운 부피 분석 프레임워크를 통해 제로섬 게임과 공조 게임에서 MWU와 OMWU의 상반된 행동을 이해하기 위해.
• MWU와 OMWU의 구조적 유사성에도 불구하고, 왜 OMWU는 제로섬 게임에서 수렴하고 MWU는 수렴하지 않는지 밝혀내기 위해.
• 부피 확장으로 인해 발생하는 새로운 부정적 동역학적 성질, 예를 들어 극단성과 피할 수 없음 등을 드러내기 위해.
• MWU의 제로섬 게임에서와 OMWU의 공조 게임에서의 부피 변화 행동을 통해 두 게임 유형 간의 이중성 수립하기 위해.
• 전통적 방법을 넘어서 이산 시간 학습 역학을 분석할 수 있는 원리적이고 일반화 가능한 도구인 이중 공간에서의 부피 분석을 제공하기 위해.

제안 방법

• 학습 역학 분석을 원래 단체형 공간(전략 프로파일)에서 이중 공간(집합 수익 공간)으로 변환하여, 부피 변화를 추적한다.
• MWU 및 OMWU와 같은 이산 시간 알고리즘에 부피 분석을 적용하여, 초기 집합의 르베그 측도가 반복 과정에서 어떻게 변화하는지 측정한다.
• 업데이트 맵의 자코비안 행렬식을 사용해 부피 적분량을 계산하며, 주요 표현식은 곡률 항 $ C_{( extbf{A}, extbf{B})}( extbf{p}, extbf{q}) $ 을 포함한다.
• 자코비안 행렬식의 타일러 전개를 통해 부피 변화의 상한을 유도하며, $ C_{( extbf{A}, extbf{B})} > 0 $ 일 때는 확장, $ C_{( extbf{A}, extbf{B})} < 0 $ 일 때는 수축을 보임을 보여준다.
• 자코비안 행렬식의 부피 변화 행동을 통해 $ C_{( extbf{A},- extbf{A})} $ 와 $ C_{( extbf{A}, extbf{A})} $ 간의 이중성을 활용하여, 제로섬 게임에서의 MWU와 공조 게임에서의 OMWU가 거의 동일한 부피 역학을 보임을 보여준다.
• 리아푸노프 혼돈, 극단적 행동, 재귀성에 대한 결과를 활용해, 두 설정 모두에서 예측 불가능성과 불안정성에 대한 정리 유도.

실험 결과

연구 질문

• RQ1 시간 평균 수렴에도 불구하고, 왜 제로섬 게임에서 MWU는 혼돈적이고 발산적인 행동을 보이는가?
• RQ2 MWU와 OMWU의 업데이트 규칙이 유사함에도 불구하고, 왜 OMWU는 제로섬 게임에서 수렴하고 MWU는 그렇지 않은가?
• RQ3 시간 평균을 초월해, 제로섬 게임에서 MWU의 불안정성의 동적 메커니즘은 무엇인가?
• RQ4 이중 공간에서의 부피 확장 또는 수축은 수렴성, 재귀성, 극단적 행동과 어떻게 관련되는가?
• RQ5 부피 분석은 MWU와 OMWU가 다양한 게임 유형에서 나타내는 대조적 행동을 설명하는 통합 원리적 원리를 드러낼 수 있는가?

주요 결과

• 제로섬 게임에서의 MWU는 이중 공간에서 부피를 지수적으로 확장하며, 리아푸노프 혼돈과 초기 조건에 대한 극도로 민감한 성질을 암시한다.
• 제로섬 게임에서의 OMWU는 부피를 수축시키며, 이는 수렴 행동에 기하학적 설명을 제공한다.
• 공조 게임에서는 OMWU가 부피를 지수적으로 확장하여 리아푸노프 혼돈을 유도하지만, MWU는 부피를 수축시킨다.
• 논문은 제로섬 게임에서의 MWU가 '극단성(extremism)'을 보임을 증명한다. 즉, 불안정함에도 불구하고 근사 순전략 프로파일을 반복적으로 방문한다.
• MWU는 또한 '피할 수 없음(unavoidability)'을 보이며, '좋음'의 정의가 무엇이든 간에 불리한 상태를 장기간 피할 수 없다.
• MWU의 제로섬 게임에서의 부피 역학과 OMWU의 공조 게임에서의 부피 역학은 곡률 항 $ C_{( extbf{A}, extbf{B})} $ 의 이중성 덕분에 거의 동일하며, 이는 동형의 불안정성 패tern을 유도한다.