[논문 리뷰] Real World Games Look Like Spinning Tops

Wojciech Marian Czarnecki, Gauthier Gidel외 5명|arXiv (Cornell University)|2020. 04. 20.

Artificial Intelligence in Games참고 문헌 34인용 수 11

한 줄 요약

이 논문은 실제 세계의 게임이 수직 축을 따라 이행성 강도를 가지며, 반경 방향 축을 따라 순환적이고 비이행성 역학을 보이는 '톱니바퀴' 기하학적 구조를 띤다고 제안한다. 나쉬 클러스터링과 9개의 게임에 대한 실증 분석을 통해 이러한 기하학적 구조가 자연스럽게 나타나며, 특히 인구 규모가 임계 임계값을 초과할 경우 수렴을 위해 인구 기반 학습이 필수적임을 보여준다.

ABSTRACT

This paper investigates the geometrical properties of real world games (e.g. Tic-Tac-Toe, Go, StarCraft II). We hypothesise that their geometrical structure resemble a spinning top, with the upright axis representing transitive strength, and the radial axis, which corresponds to the number of cycles that exist at a particular transitive strength, representing the non-transitive dimension. We prove the existence of this geometry for a wide class of real world games, exposing their temporal nature. Additionally, we show that this unique structure also has consequences for learning - it clarifies why populations of strategies are necessary for training of agents, and how population size relates to the structure of the game. Finally, we empirically validate these claims by using a selection of nine real world two-player zero-sum symmetric games, showing 1) the spinning top structure is revealed and can be easily re-constructed by using a new method of Nash clustering to measure the interaction between transitive and cyclical strategy behaviour, and 2) the effect that population size has on the convergence in these games.

연구 동기 및 목표

• Go, StarCraft II, DOTA 2와 같은 인간이 참여하는 실제 세계의 게임들 뒤에 공통된 기하학적 구조가 존재하는지 규명하는 것.
• 이러한 게임들이 이행성 강도와 순환적 역학을 조합한 '스킬의 게임' 가설을 정식화하여, '톱니바퀴' 기하학을 가진다고 제안하는 것.
• 실제 세계의 게임에서 장주기의 존재를 이론적으로 및 실증적으로 검증하고, 이를 학습 역학과 연결하는 것.
• 이러한 게임에서 수렴을 위해 인구 기반 학습 방법이 필수적인 이유를 나쉬 클러스터 커버리지의 관점에서 설명하는 것.
• 전통적인 게임 이론 게임(예: 블로토 게임)과의 차이를 통해 실제 세계의 게임이 이 기하학적 구조를 갖는다는 것을 구분하는 것.

제안 방법

• 수직 축을 따라 이행성 강도를 가지며 반경 방향 축을 따라 비이행성 순환을 보이는 '톱니바퀴' 기하학적 모델을 실제 세계의 게임에 제안한다.
• 이행성 및 순환 전략 행동 간의 상호작용을 측정하기 위해 나쉬 클러스터링을 도입하여, '톱니바퀴' 기하학적 구조를 재구성할 수 있도록 한다.
• 에이전트 인구의 실증적 샘플링을 통해 실제 세계의 게임을 근사하고, 다양한 인구 규모에서의 수렴을 평가한다.
• 현재 인구를 이길 수 있는 전략을 선택하는 편향된 오라클 기반 학습 알고리즘을 적용하여, 탐욕적인 강화 학습을 시뮬레이션한다.
• 이론적 분석을 통해 n단계 게임, 즉 연구된 모든 실제 세계의 게임에 매우 긴 순환이 존재함을 증명한다.
• 실제 세계의 게임과 비실제 세계의 게임(예: 블로토 게임) 간의 결과를 비교하여 '스킬의 게임'의 독특한 기하학적 구조를 검증한다.

실험 결과

연구 질문

• RQ1 Tic-Tac-Toe, Go, StarCraft II와 같은 실제 세계의 게임들이 이행성 강도와 순환적 역학을 조합한 '톱니바퀴' 기하학적 구조를 보이는가?
• RQ2 나쉬 클러스터링과 에이전트 인구 샘플링을 통해 '톱니바퀴' 기하학적 구조를 실증적으로 재구성할 수 있는가?
• RQ3 실제 세계의 게임에서 인구 규모와 수렴 간의 관계는 어떠한가?
• RQ4 왜 인구 기반 학습 방법은 실제 세계의 게임에서는 성공하지만, 일부 전통적인 게임 이론 게임에서는 실패하는가?
• RQ5 약한 전략 영역에서 장주기의 존재가 다양한 전략 인구의 필요성을 어떻게 영향을 미치는가?

주요 결과

• 시험한 9개의 실제 세계의 두 명 참가자, 0합, 대칭적 게임(3×3 Go, Tic-Tac-Toe, StarCraft II 포함) 전부에서 '톱니바퀴' 기하학적 구조가 실증적으로 관측되었다.
• 나쉬 클러스터 크기는 중간 수준의 이행성 강도에서 최고에 도달하며, 고강도 및 저강도 수준으로 갈수록 감소하여 기하학적 형태가 톱니바퀴 모양임을 확인한다.
• 실제 세계의 게임에서는 작은 인구로 학습할 경우 지속적인 순환 현상이 발생하며, 수렴은 인구 규모가 임계 임계값을 초과할 때에만 발생한다.
• 반면, 비실제 세계의 게임인 블로토 게임은 높은 수준의 기량에서 나쉬 클러스터 크기가 증가하며 '톱니바퀴' 기하학적 구조를 보이지 않는다.
• 순수하게 이행성인 엘로 게임은 인구 규모가 1인 경우에도 수렴하므로, 단순한 진행이 인구 다양성 없이도 가능함을 확인한다.
• 이론적 결과는 n단계 게임에 매우 긴 순환이 존재함을 증명하며, 학습 과정에서 다양한 전략 인구가 필요함을 설명한다.