[논문 리뷰] Assessing Game Balance with AlphaZero: Exploring Alternative Rule Sets in Chess

Nenad Tomašev, Ulrich Paquet외 2명|arXiv (Cornell University)|2020. 09. 09.

Artificial Intelligence in Games참고 문헌 16인용 수 12

한 줄 요약

이 논문은 알파제로를 사용하여 소규모 규칙 변경이 가미된 아홉 가지의 체스 변형에서 게임 균형을 탐색하고 평가한다. 예를 들어 자기 캐피처를 허용하거나 기물 이동 방식을 변경하는 등의 변화가 포함된다. 각 변형에서 알파제로를 처음부터 훈련시켜 동적이고 새로운 전략적 패턴을 발견하고, 새로운 규칙 하에서 기물 가치가 어떻게 변화하는지 보여주며, 고전적 체스보다 더 결정적인 결과를 낳는 몇몇 변형이 있음을 입증한다. 이는 게임 디자인에서 규칙 혁신의 잠재력을 시사한다.

ABSTRACT

It is non-trivial to design engaging and balanced sets of game rules. Modern chess has evolved over centuries, but without a similar recourse to history, the consequences of rule changes to game dynamics are difficult to predict. AlphaZero provides an alternative in silico means of game balance assessment. It is a system that can learn near-optimal strategies for any rule set from scratch, without any human supervision, by continually learning from its own experience. In this study we use AlphaZero to creatively explore and design new chess variants. There is growing interest in chess variants like Fischer Random Chess, because of classical chess's voluminous opening theory, the high percentage of draws in professional play, and the non-negligible number of games that end while both players are still in their home preparation. We compare nine other variants that involve atomic changes to the rules of chess. The changes allow for novel strategic and tactical patterns to emerge, while keeping the games close to the original. By learning near-optimal strategies for each variant with AlphaZero, we determine what games between strong human players might look like if these variants were adopted. Qualitatively, several variants are very dynamic. An analytic comparison show that pieces are valued differently between variants, and that some variants are more decisive than classical chess. Our findings demonstrate the rich possibilities that lie beyond the rules of modern chess.

연구 동기 및 목표

• 체스의 소규모 규칙 변경이 게임 균형과 역학에 미치는 영향을 조사하는 것.
• 알파제로가 다양한 규칙 세트에 걸쳐 게임 균형을 평가하는 자동화된 도구로 기능할 수 있는지 평가하는 것.
• 새로운 체스 변형 중에서 룰러업 이론에 의존도가 낮고 플레이어블성이 높은 것을 식별하는 것.
• 다른 규칙 세트 하에서 기물 가치 평가와 전략적 복잡도의 변화를 분석하는 것.
• 강화학습을 활용해 창의적인 게임 디자인 공간을 탐색하는 것이 가능한지 입증하는 것.

제안 방법

• 알파제로는 자가 플레이 강화학습을 통해 아홉 가지 수정된 체스 변형 각각에 대해 처음부터 훈련된다.
• 각 변형은 하나의 규칙 변경을 도입하며, 예를 들어 자기 캐피처 허용, 폰 이동 방식 변경, 체크메이트 조건 변경 등이 포함된다.
• 훈련은 인간 데이터나 사전 게임 지식 없이 수행되며, 자가 플레이와 몬테카를로 트리 서치에만 의존한다.
• 게임 역학은 플레이스타일의 정성적 평가와 게임 길이, 승률 등의 정량적 비교를 통해 분석된다.
• 고수준 게임에서의 평균 물리적 손실/이득 기반으로 기물 가치가 재평가된다.
• 자기 캐피처 무늬는 알파제로의 자가 플레이 게임에서 상태를 세밀히 분석함으로써 식별되고 분석된다.

실험 결과

연구 질문

• RQ1 체스의 소규모 규칙 변경이 전략적 깊이와 게임 균형에 어떤 영향을 미치는가?
• RQ2 알파제로는 인간 감독 없이도 새로운 규칙 세트에 대해 근사 최적의 전략을 효과적으로 학습할 수 있는가?
• RQ3 고전적 체스와 비교해 더 결정적이고 역동적인 전개를 보이는 규칙 변형은 무엇인가?
• RQ4 다른 규칙 세트 하에서 기물 가치가 어떻게 변화하는가? 이는 게임 균형에 어떤 함의를 갖는가?
• RQ5 자기 캐피처와 같은 새로운 전술 패턴은 어떤 변형에서 어떻게 나타나는가?

주요 결과

• 자기 캐피처를 허용하는 변형은 고전적 체스보다 훨씬 더 역동적이고 결정적인 게임을 만들어내는 경향이 있다.
• 자기 캐피처 무늬는 고수 수준의 전개에서 공격적·수비적으로 모두 중심적인 전술 주제로 부상한다.
• 기물 가치는 변형 간에 뚜렷하게 변화한다: 예를 들어 자기 캐피처가 허용되는 변형에서는 기물의 활동성이 증가함에 따라 비숍과 코끼리가 더 가치가 높아지는 경우가 많다.
• 자기 캐피처를 허용하는 변형은 물리적 불균형을 상쇄할 수 있는 역동적인 기물 활동 덕분에 더 균형 잡힌 전반전과 전이전을 보여준다.
• 고전적 체스에서 승패가 갈릴 수 있는 변형에서 알파제로는 항상 승리하며, 이는 결과의 엔트로피가 감소하고 게임 균형이 향상됨을 시사한다.
• 연구는 룰러업 이론 의존도가 낮고 불확실성과 전술적 풍부성이 증가함에 따라 엔터테인먼트 가치가 높은 여러 타당한 체스 변형을 식별했다.