[논문 리뷰] Winning Isn't Everything: Training Human-Like Agents for Playtesting and Game AI.

Yunqi Zhao, Igor Borovikov외 14명|arXiv (Cornell University)|2019. 03. 25.

Artificial Intelligence in Games참고 문헌 26인용 수 6

한 줄 요약

이 논문은 게임 개발자들이 디자인, 테스트 및 최적화를 보조할 수 있도록 인간과 유사한 게임 에이전트를 훈련시키는 것을 제안한다. 승리에 집중하는 것에서 벗어나 플레이어 경험 향상으로 초점을 이동시킨다. 인간 행동을 모델링하는 프레임워크를 사용함으로써, 에이전트는 게임 플레이를 시뮬레이션하고 균형 문제를 발견하며 반복적 개발을 지원할 수 있다. 이는 인공지능 기반 게임 설계 지원 분야에서의 초기 성과이다.

ABSTRACT

Recently, there have been several high-profile achievements of agents learning to play games against humans and beat them. We consider an alternative approach that instead addresses game design for a better player experience by training human-like game agents. Specifically, we study the problem of training game agents in service of the development processes of the game developers that design, build, and operate modern games. We highlight some of the ways in which we think intelligent agents can assist game developers to understand their games, and even to build them. Our early results using the proposed agent framework mark a few steps toward addressing the unique challenges that game developers face.

연구 동기 및 목표

• 승리에만 집중하는 AI 에이전트의 한계를 해결하기 위해, 게임 개발 지원을 위해 인간과 유사한 행동을 모델링하는 것.
• 플레이어 경험을 시뮬레이션하고 균형 또는 참여도 문제를 발견할 수 있도록 에이전트를 통해 게임 설계 프로세스를 향상시키는 것.
• 지능적이고 행동 기반의 시뮬레이션 에이전트를 통해 개발자가 게임 메커니즘과 플레이어 행동을 이해하는 데 도움을 주는 것.
• 에이전트 기반 플레이테스팅에서 유의미한 통찰을 제공함으로써 반복적 게임 개발을 지원하는 프레임워크를 개발하는 것.

제안 방법

• 프레임워크는 승리에 최적화하는 대신 인간의 의사결정 패턴을 모방하도록 에이전트를 훈련시킨다.
• 에이전트는 시연 데이터와 강화 학습을 사용하여 실제 플레이어 행동, 즉 실수와 선호도를 반영하도록 훈련된다.
• 다양한 플레이라이프스타일과 선호도를 모델링하기 위해 행동 클로닝과 역강화 학습을 통합한다.
• 에이전트는 게임 환경에 배치되어 게임 플레이를 시뮬레이션하고 균형, 진행도, 참여도에 대한 피드백을 생성한다.
• 에이전트 행동이 실제 플레이어 행동과 유사한지 확인하기 위해 인간 기준과 비교 평가를 수행한다.
• 에이전트의 피드백은 난이도 조정이나 보상 구조 조정과 같은 게임 설계 변경을 이끄는 데 사용된다.

실험 결과

연구 질문

• RQ1 AI 에이전트를 어떻게 훈련시켜 게임에서 승리에 최적화하는 대신 인간과 유사한 행동을 모델링할 수 있는가?
• RQ2 인간과 유사한 에이전트는 개발 단계에서 게임 설계와 균형을 어떻게 향상시킬 수 있는가?
• RQ3 에이전트 기반 시뮬레이션은 전통적 테스트보다 게임 설계 결함이나 참여도 문제를 더 효과적으로 탐지할 수 있는가?
• RQ4 인간 플레이테스터와 비교했을 때 인간과 유사한 에이전트는 균형 및 진행도 문제를 어떻게 더 잘 식별하는가?
• RQ5 실제 플레이어 행동을 가장 잘 유지하는 데 가장 효과적인 훈련 기법은 무엇인가?

주요 결과

• 프레임워크는 비최적의 결정과 다양한 플레이라이프스타일을 보이는 인간과 유사한 행동을 보이는 에이전트를 성공적으로 훈련시켰다.
• 에이전트 시뮬레이션은 기존 표준 테스트로는 발견되지 않았던 게임 메커니즘의 균형 문제를 드러냈다.
• 에이전트는 진행곡선과 보상 구조에 대한 실질적인 피드백을 제공하여 반복적 설계를 지원했다.
• 기존의 승리에 집중하는 에이전트보다 인간과 유사한 에이전트가 실제 플레이어 행동에 더 높은 유사도를 보였다.
• 초기 결과로 프레임워크가 공개 출시 이전에 설계 문제를 식별하고 해결하는 데 게임 개발자들을 지원하는 데 기여하는 것으로 나타났다.