[논문 리뷰] Finding Game Levels with the Right Difficulty in a Few Trials through Intelligent Trial-and-Error

Miguel González-Duque, Rasmus Palm외 2명|arXiv (Cornell University)|2020. 05. 15.

Artificial Intelligence in Games참고 문헌 40인용 수 26

한 줄 요약

이 논문은 베이지안 최적화와 MAP-Elites를 활용하여 몇 번의 시도만으로 목표 난이도를 가진 게임 레벨을 생성하고 탐색하는 지능형 시도-오류(IT&E) 프레임워크를 제안한다. 다양한 레벨을 진화시키고, 프록시 AI 에이전트의 성능 데이터를 사전 정보로 활용함으로써, 계획 에이전트의 특정 난이도를 충족하는 레벨을 효율적으로 식별하며, 10회 이내의 반복으로 높은 정확도로 최적의 난이도를 달성한다.

ABSTRACT

Methods for dynamic difficulty adjustment allow games to be tailored to particular players to maximize their engagement. However, current methods often only modify a limited set of game features such as the difficulty of the opponents, or the availability of resources. Other approaches, such as experience-driven Procedural Content Generation (PCG), can generate complete levels with desired properties such as levels that are neither too hard nor too easy, but require many iterations. This paper presents a method that can generate and search for complete levels with a specific target difficulty in only a few trials. This advance is enabled by through an Intelligent Trial-and-Error algorithm, originally developed to allow robots to adapt quickly. Our algorithm first creates a large variety of different levels that vary across predefined dimensions such as leniency or map coverage. The performance of an AI playing agent on these maps gives a proxy for how difficult the level would be for another AI agent (e.g. one that employs Monte Carlo Tree Search instead of Greedy Tree Search); using this information, a Bayesian Optimization procedure is deployed, updating the difficulty of the prior map to reflect the ability of the agent. The approach can reliably find levels with a specific target difficulty for a variety of planning agents in only a few trials, while maintaining an understanding of their skill landscape.

연구 동기 및 목표

• 기존의 동적 난이도 조정(DDA) 기법들이 적대자 강도나 자원 가용성과 같은 제한된 게임 기능만 수정하는 데서 비롯되는 한계를 해결하기 위해.
• 최소한의 시도로 특정 난이도 목표를 가진 완전하고 다양한 게임 레벨을 생성하는 방법을 개발하기 위해.
• 프록시 AI 에이전트의 성능 데이터를 사전 정보로 활용하여 베이지안 최적화 프레임워크 내에서 빠르고 자료 효율적인 난이도 校정을 가능하게 하기 위해.
• 다양한 에이전트 행동에 따라 레벨 난이도의 스킬 지도를 유지함으로써, 어떤 요소가 레벨을 어렵게 만들지에 대한 통찰을 제공하기 위해.
• AI 에이전트 사전 정보를 활용해 다른 에이전트 또는 인간 플레이어의 난이도를 예측할 수 있는지 탐색하며, 교육 및 재활 게임 분야에 응용 가능성을 모색하기 위해.

제안 방법

• 이 방법은 수작업으로 설계된 기능(예: 지도 커버리지, 관용성)을 기반으로 행동 지ap을 기반으로 다양한 게임 레벨의 아카이브를 진화시키는 MAP-Elites를 사용한다.
• 각 레벨은 프록시 AI 에이전트(예: 탐욕스러운 트리 탐색, MCTS, 무작위)에 의해 평가되며, 그 성능(예: 승리율)이 난이도의 대체 지표로 기록된다.
• 행동 지도를 입력 공간으로 사용하여 성능 데이터에 기반해 가우시안 프로세스 회귀 모델을 훈련시켜, 미리보지 않은 레벨의 난이도를 예측한다.
• IT&E 알고리즘은 탐색과 이용의 균형을 이루는 할당 함수에 따라 다음 시험 대상 레벨을 선택하며, 각 시도 후 GP 모델을 업데이트한다.
• 새로운 성능 데이터로 사전 정보를 업데이트함으로써 반복적으로 탐색을 정교화하며, 목표 난이도(예: 60% 승리율)를 가진 레벨로 수렴한다.
• 다른 에이전트의 성능에서 유도된 사전 지도를 사용하여 탐색을 부트스트랩함으로써, 약한 또는 무작위 사전 정보일지라도 빠른 수렴이 가능하다.

실험 결과

연구 질문

• RQ1 지능형 시도-오류(IT&E) 프레임워크가 몇 번의 시도만으로 특정 목표 난이도를 가진 게임 레벨을 효율적으로 식별할 수 있는가?
• RQ2 한 AI 에이전트의 성능 데이터가 다른 에이전트의 난이도를 예측하는 데 얼마나 신뢰할 수 있는 사전 정보로 기능하는가?
• RQ3 이 방법은 다양한 에이전트 행동에 걸쳐 레벨 난이도의 스킬 지도를 얼마나 효과적으로 유지하는가?
• RQ4 사전 지도의 품질이 수렴 속도에 크게 영향을 미치는가? 그리고 무작위 사전 정보일지라도 빠른 결과를 얻을 수 있는가?
• RQ5 인간 플레이 트레이스 또는 인간처럼 행동하는 에이전트를 사전 정보로 사용함으로써, 이 접근 방식을 실제 인간 플레이어로 확장할 수 있는가?

주요 결과

• IT&E 방법은 다양한 계획 에이전트에 대해 목표 난이도(예: 60% 승리율)를 가진 레벨을 10회 이내의 시도로 성공적으로 식별했으며, 한 경우는 단 3회 업데이트로 최적의 난이도를 달성했다.
• 이 방법은 난이도 추정에 높은 정확도를 보였으며, 이상적인 난이도(60% 승리율)에 가까운 레벨이 히트맵 시각화에서 일관되게 선택되었다.
• 무작위 사전 지도(기준선)조차도 잘 작동하여, 성능 향상의 핵심 요소는 사전 정보의 품질이 아니라 베이지안 업데이트 메커니즘이라는 점을 입증했다.
• 행동 지도는 뚜렷한 스킬 프로파일을 드러내었으며, 무작위 에이전트는 적을 처리하는 데 어려움을 겪는 반면, MCTS 에이전트는 효과적으로 대응했다. 이는 방법이 에이전트별 능력을 정확히 포착하고 있음을 보여준다.
• 할당 함수는 탐색을 장려하여, 즉각적인 주변에서 성능이 최대가 아니더라도 비직관적이지만 효과적인 레벨 선택을 이끌었다.
• 이 방법은 레벨 난이도의 스킬 지도를 견고하게 유지하며, 다양한 에이전트에 대해 난이도를 높이는 레벨 특성은 무엇인지에 대한 통찰을 제공한다.