[논문 리뷰] Generating Real-Time Strategy Game Units Using Search-Based Procedural Content Generation and Monte Carlo Tree Search

Kynan Sorochan, Matthew Guzdial|arXiv (Cornell University)|2022. 12. 07.

Artificial Intelligence in Games인용 수 7

한 줄 요약

이 논문은 몬테카를로 트리 서치(MCTS)를 통합한 검색 기반 절차적 콘텐츠 생성(SBPCG) 방법을 제안하여 실시간 전략(RTS) 게임 유닛을 자동으로 균형 잡히고 고유한 방식으로 생성한다. MCTS 기반의 적합도 함수를 사용해 시뮬레이션된 게임플레이를 통해 유닛 균형을 평가함으로써, 마이크로RTS에 대해 열 개의 새로운 유닛을 생성하였으며, 다양한 에이전트 기량 수준에서 기여도와 균형 잡힌 성능을 보였다.

ABSTRACT

Real-Time Strategy (RTS) game unit generation is an unexplored area of Procedural Content Generation (PCG) research, which leaves the question of how to automatically generate interesting and balanced units unanswered. Creating unique and balanced units can be a difficult task when designing an RTS game, even for humans. Having an automated method of designing units could help developers speed up the creation process as well as find new ideas. In this work we propose a method of generating balanced and useful RTS units. We draw on Search-Based PCG and a fitness function based on Monte Carlo Tree Search (MCTS). We present ten units generated by our system designed to be used in the game microRTS, as well as results demonstrating that these units are unique, useful, and balanced.

연구 동기 및 목표

• 인간 디자이너에게조차 시간이 많이 들고 복잡한 작업인 흥미롭고 균형 잡힌 RTS 게임 유닛을 자동으로 생성할 수 있는 방법의 부족을 해결하기 위해.
• 인공지능 기반 절차적 콘텐츠 생성이 기계적으로 고유하고 게임플레이에서 균형 잡힌 새로운 유닛을 효과적으로 생성할 수 있는지 탐색하기 위해.
• 다양한 기량 수준의 에이전트를 사용한 시뮬레이션된 게임플레이를 통해 생성된 유닛의 기여도와 균형을 평가하여 인간 플레이테스팅에 의존하지 않기 위해.
• MCTS 기반 적합도 평가가 RTS 유닛 생성에서 게임 균형을 신뢰할 수 있는 대체 지표로 기능할 수 있음을 보여주기 위해.

제안 방법

• 랜덤으로 초기화된 유닛을 단계적으로 향상시키는 국소 탐색을 수행하는 검색 기반 절차적 콘텐츠 생성(SBPCG) 프레임워크를 사용한다.
• 다양한 기량 수준의 에이전트 쌍 간의 승률을 측정하여 유닛 균형을 평가하는 MCTS 시뮬레이션 기반 적합도 함수를 정의한다.
• 한 명의 플레이어가 새로운 유닛을 생산할 수 있는 MCTS를 사용해 게임을 시뮬레이션하고, 해당 유닛이 없는 기준 매치와의 결과를 비교하여 균형과 기여도를 평가한다.
• 다른 기량 수준의 에이전트 간의 시뮬레이션된 매치에서의 승률 분포에서 유도된 균형 지표를 최적화하여 유닛을 생성한다.
• 전략적 기여도와 전체 게임 균형을 평가하기 위해 100,000판의 시뮬레이션된 게임을 대규모 MCTS 연구에서 평가한다.
• 인정받는 RTS 테스트베드인 마이크로RTS 게임 엔진을 활용하여 기계적으로 고유한 특징을 지닌 열 개의 새로운 유닛을 생성하고 검증한다.

실험 결과

연구 질문

• RQ1 MCTS 기반 적합도 함수를 사용한 SBPCG는 기계적으로 고유하고 균형 잡힌 RTS 유닛을 생성할 수 있는가?
• RQ2 시뮬레이션된 게임플레이 기반의 적합도 함수는 실제로 RTS 유닛의 균형과 기여도를 효과적으로 예측할 수 있는가?
• RQ3 생성된 유닛은 다양한 기량 수준의 에이전트에서 승률과 전략적 영향 측면에서 어떻게 성능을 보이는가?
• RQ4 양 측면이 모두 해당 유닛을 생산할 수 있을 경우, 유닛의 균형은 어느 정도 유지되는가?
• RQ5 이 방법은 균형 잡힌 것 외에도 다양한 게임플레이 상황에서 전략적으로 유용한 유닛을 생성할 수 있는가?

주요 결과

• 시스템은 마이크로RTS에 대해 기계적 특징과 역할이 모두 다른 열 개의 고유한 RTS 유닛을 성공적으로 생성하였다.
• 시뮬레이션된 게임플레이 결과, 한 명의 플레이어만 유닛을 생산할 수 있을 경우 승률 변화를 통해 기여도가 명확하게 측정되었다.
• 양 플레이어가 모두 유닛을 생산할 수 있는 균형 잡힌 상황에서는 승률이 50%로 수렴하여 다양한 기량 수준에서의 균형이 확인되었다.
• 에이전트 기량 쌍 간의 승률 히트맵은 균형 잡힌 게임에서 기대되는 패턴을 따르며, MCTS 기반 적합도 함수의 타당성을 뒷받침했다.
• 어느 일부 유닛은 낮은 기량의 에이전트에게 승률을 약간 높여주는 '저비용 효과'를 보이며 특정 매치업에서 과도하게 강력한 성능을 보였다.
• 특정 매치업에서의 경微한 불균형에도 불구하고, 전체적인 추세는 생성된 유닛이 평균적으로 균형 잡혀 있으며 게임플레이에서 유용하다는 것을 확인시켰다.