[논문 리뷰] Agent-Based Adaptive Level Generation for Dynamic Difficulty Adjustment in Angry Birds

Matthew Stephenson, Jochen Renz|arXiv (Cornell University)|2019. 02. 07.

Artificial Intelligence in Games참고 문헌 36인용 수 6

한 줄 요약

이 논문은 에이전트 성능에 따라 유도되는 유전 알고리즘을 사용하여 어린이의 난이도를 동적으로 조정하는 에이전트 기반의 적응형 레벨 생성기를 제안한다. 생성기 파라미터를 목표 해결률이나 상대 난이도에 맞게 진화시켜, 인간 플레이어와 AI 에이전트 모두에게 개인화되고 도전적인 레벨을 생성함으로써 강화 학습 에이전트의 훈련 및 평가 효율성을 크게 향상시킨다.

ABSTRACT

This paper presents an adaptive level generation algorithm for the physics-based puzzle game Angry Birds. The proposed algorithm is based on a pre-existing level generator for this game, but where the difficulty of the generated levels can be adjusted based on the player's performance. This allows for the creation of personalised levels tailored specifically to the player's own abilities. The effectiveness of our proposed method is evaluated using several agents with differing strategies and AI techniques. By using these agents as models / representations of real human player's characteristics, we can optimise level properties efficiently over a large number of generations. As a secondary investigation, we also demonstrate that by combining the performance of several agents together it is possible to generate levels that are especially challenging for certain players but not others.

연구 동기 및 목표

• 어린이의 AI 에이전트 훈련 및 평가에 있어 제한적이고 개인화되지 않은 레벨 문제를 해결하기 위해.
• 개별 플레이어 또는 에이전트 성능에 맞게 난이도를 적응적으로 조정함으로써 정규화된 레벨 생성의 효과를 향상시키기 위해.
• 특정 에이전트에게는 도전적으로, 다른 이들에게는 접근하기 쉬운 레벨을 생성함으로써 벤치마킹 및 훈련 효율성을 향상시키기 위해.
• 학습에 최적의 난이도를 가진 레벨에 집중함으로써 강화 학습 에이전트 훈련을 가속화할 잠재력을 탐색하기 위해.

제안 방법

• 기존의 레벨 생성기(Iratus Aves)의 파라미터를 목표 난이도 프로파일을 가진 레벨을 생성하도록 진화시키기 위해 유전 알고리즘을 사용한다.
• 에이전트 성능에 기반한 피트니스 함수를 정의한다: 하나는 목표 해결률을 달성하기 위한 것(Fitness_p), 다른 하나는 다른 에이전트와의 상대 난이도를 최대화하기 위한 것(Fitness_m).
• 다양한 레벨에서의 에이전트 성능을 인간 플레이어 행동의 대체 지표로 사용하여, 다양한 기량 수준이나 전략에 맞게 생성기가 적응할 수 있도록 한다.
• 선택, 교차, 변이를 사용하여 세대를 거쳐가며 레벨 파라미터를 반복적으로 진화시켜 목표 난이도 지표를 최적화한다.
• 특정 에이전트에 대해 50% 해결률을 달성하는 등 개인화된 난이도와, 에이전트 A에겐 어렵고 에이전트 B에겐 쉬운 등 비교 기반 난이도를 모두 지원한다.
• 다양한 전략을 가진 AI 에이전트를 사용하여 평가하여 인간 플레이어의 다양성을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 에이전트 성능은 어린이 플레이어 기량을 신뢰할 수 있는 대체 지표로 사용될 수 있는가? 이는 어린이의 난이도 조절을 위한 적응형 레벨 생성을 이끄는 데 유용한가?
• RQ2 유전 알고리즘이 특정 에이전트에 대해 목표 해결률을 달성하도록 레벨 생성기 파라미터를 얼마나 효과적으로 최적화할 수 있는가?
• RQ3 특정 에이전트에게는 매우 어려운 레벨을 생성할 수 있으며, 동시에 다른 이들에게는 쉬운 레벨을 생성할 수 있을까? 이러한 레벨이 에이전트의 약점을 파악하는 데 얼마나 효과적인가?
• RQ4 랜덤 또는 고정된 레벨 생성 방식과 비교해 볼 때, 적응형 레벨 생성은 강화 학습 에이전트의 훈련 효율성을 어떻게 향상시키는가?
• RQ5 유사한 메커니즘을 가진 다른 물리 기반 퍼즐 게임에 대해서도 제안된 방법이 일반화될 수 있는가?

주요 결과

• 적응형 레벨 생성기는 개별 에이전트에 대해 목표 해결률(예: 50%)을 달성하는 레벨을 성공적으로 생성하여 효과적인 동적 난이도 조절을 입증했다.
• 특정 에이전트에 대해 다른 에이전트보다 훨씬 어려운 레벨을 생성하여, 에이전트의 특정 약점을 파악하는 데 기여했다.
• Fitness_m 함수를 사용해 생성된 레벨은 에이전트 간 성능 격차가 크게 발생시켜, 벤치마킹 및 비교 평가에 이상적인 조건을 제공했다.
• 에이전트가 현재는 일부 레벨에서만 해결하는 데 집중함으로써, 지연 보상에서 최대한의 학습 신호를 얻을 수 있도록 함으로써 강화 학습 에이전트의 훈련을 효율적으로 가능하게 했다.
• 에이전트 능력에 맞게 난이도를 조정함으로써 랜덤 또는 정적 레벨 생성 방식보다 정보 수득량을 높여 훈련 효율성을 향상시켰다.
• 이 프레임워크는 확장 가능하며, 유사한 메커니즘을 가진 다른 물리 기반 퍼즐 게임에 적용 가능하므로 넓은 재사용 가능성을 보여준다.