[논문 리뷰] Monte-Carlo Tree Search for Simulation-based Strategy Analysis

Alexander Zook, Brent Harrison외 1명|arXiv (Cornell University)|2019. 08. 04.

Artificial Intelligence in Games참고 문헌 35인용 수 29

한 줄 요약

이 논문은 턴기반 게임에서 다양한 기량 수준의 플레이어를 시뮬레이션하기 위해 다양한 롤아웃 수를 가진 몬테카를로 트리 서치(MCTS)를 사용하는 것을 제안하며, 요약, 원자, 체인, 액션 공간의 네 수준의 메트릭을 통해 게임 디자인의 자동 분석을 가능하게 한다. 이 방법은 스컬랩에서의 게임 균형을 성공적으로 확인하고, 카드의 상호보완성 부족 등의 설계 결함을 드러내는 데서 효과를 발휘하며, 기량 수준에 따라 균형 잡히지 않은 전략적 선택지를 드러낸다.

ABSTRACT

Games are often designed to shape player behavior in a desired way; however, it can be unclear how design decisions affect the space of behaviors in a game. Designers usually explore this space through human playtesting, which can be time-consuming and of limited effectiveness in exhausting the space of possible behaviors. In this paper, we propose the use of automated planning agents to simulate humans of varying skill levels to generate game playthroughs. Metrics can then be gathered from these playthroughs to evaluate the current game design and identify its potential flaws. We demonstrate this technique in two games: the popular word game Scrabble and a collectible card game of our own design named Cardonomicon. Using these case studies, we show how using simulated agents to model humans of varying skill levels allows us to extract metrics to describe game balance (in the case of Scrabble) and highlight potential design flaws (in the case of Cardonomicon).

연구 동기 및 목표

• 플레이어 기량 수준에 따라 게임 디자인이 플레이어 행동에 미치는 영향을 분석할 수 있는 확장성 있고 자동화된 방법의 부족을 해결하기 위해.
• 인간의 플레이테스팅이 전략적 행동 공간을 탐색하는 데 시간이 오래 걸리고 완전하지 않다는 한계를 극복하기 위해.
• MCTS의 롤아웃 수 변화를 통해 다양한 기량 수준의 플레이어를 모델링하는 시뮬레이션 기반 프레임워크를 개발하여 체계적인 게임 디자인 평가를 가능하게 하기 위해.
• 플레이어 전략을 시뮬레이션된 플레이트루에서 분석하기 위한 다수준 메트릭 분류 체계(요약, 원자, 체인, 액션 공간)를 도입하기 위해.
• 이 방법이 스컬랩과 카드노미콘이라는 두 가지 다른 게임—스컬랩(단어 게임)과 커스터마이즈드 컬렉션 카드 게임인 카드노미콘—에서 게임 균형과 설계 결함을 탐지하는 데 유용함을 입증하기 위해.

제안 방법

• 다양한 수의 롤아웃을 가진 몬테카를로 트리 서치(MCTS)를 사용해 턴기반 게임에서 다양한 기량 수준의 플레이어를 시뮬레이션하며, 높은 롤아웃 수는 높은 기량을 나타낸다.
• 검색 깊이와 탐색 조정을 통해 MCTS 에이전트를 인간과 유사한 플레이로 매핑하며, 롤아웃은 인지 처리 한계를 근사한다.
• 전략 분석을 위한 네 수준의 추상화 수준 정의: 요약(고수준의 게임플레이 메트릭), 원자(개별 행동 빈도), 체인(행동 시퀀스 및 조합), 액션 공간(시간에 따른 가용 행동).
• 게임 상태 전이에서 행동 메트릭을 추출하기 위해 다양한 기량 수준에서 MCTS 에이전트를 사용해 시뮬레이션된 플레이트루를 생성한다.
• 이 메트릭 프레임워크를 두 게임에 적용: 스컬랩(단어 게임)과 카드노미콘(매지크: 더 트라이브, 허스턴스토어와 유사한 커스터마이즈드 컬렉션 카드 게임).
• 플레이트루의 통계 분석을 통해 불균형을 탐지하며, 예를 들어 전략적 깊이 부족 또는 카드 조합의 비대칭성 등이 포함된다.

실험 결과

연구 질문

• RQ1 MCTS는 턴기반 게임에서 다양한 기량 수준의 플레이어를 어떻게 시뮬레이션하여 전략적 행동을 분석할 수 있는가?
• RQ2 시뮬레이션된 플레이트루는 스컬랩과 같은 게임에서 게임 균형 문제를 어느 정도 드러낼 수 있는가?
• RQ3 제안된 메트릭 프레임워크는 카드노미콘과 같은 커스터마이즈드 컬렉션 카드 게임에서 전략적 깊이 부족 또는 카드 상호보완성 부족 등의 설계 결함을 탐지할 수 있는가?
• RQ4 두 게임에서 저기량과 고기량 시뮬레이션 플레이어 간의 액션 공간과 전략적 선택지는 어떻게 다를까?
• RQ5 요약, 원자, 체인, 액션 공간의 네 수준 메트릭 분류 체계는 기량 수준에 따라 플레이어 전략에 대한 통찰을 효과적으로 조직하고 드러내는 데 유용한가?

주요 결과

• 스컬랩에서, 메트릭인 이동 빈도와 점수 등이 기량 수준에 관계없이 안정되어 있어, 미세한 규칙 변경 후에도 균형이 유지됨을 시뮬레이션 기반 분석이 확인했다.
• 카드노미콘에서, 강한 에이전트가 후반 게임에 걸쳐 훨씬 더 많은 플레이와 공격 수단을 확보하고 있음을 분석이 드러내어, 카드 보존과 효율적인 만나 사용을 통한 전략적 깊이를 보여주었다.
• 카드노미콘에서 뚜렷한 액션 체인(조합)이 부재해 카드 상호작용의 상호보완성이 떨어짐을 나타내어 전략적 다양성 부족이라는 설계 결함을 드러냈다.
• 카드노미콘의 강한 에이전트는 평균적으로 더 많은 다양한 카드를 플레이하고 공격하며, 자원 효율성과 전략적 계획 수립이 뛰어남을 보여주었다.
• 액션 공간 분석 결과, 고기량 에이전트가 후반 전략을 위해 더 많은 카드를 보존하고 있어, 후반 게임의 선택지를 늘리며 장기적 계획 수립 능력이 뛰어남을 반영했다.
• 이 방법은 저기량 에이전트가 중반 게임 공격 선택지에서 특히 카드 보존이 비효율해 전략적 선택지가 적다는 점을 성공적으로 식별했다.