[논문 리뷰] Winning Isn't Everything: Enhancing Game Development with Intelligent Agents

Yunqi Zhao, Igor Borovikov외 15명|arXiv (Cornell University)|2019. 03. 25.

Reinforcement Learning in Robotics참고 문헌 65인용 수 10

한 줄 요약

이 논문은 게임을 승리시키기 위한 것이 아니라, 인간과 유사한 플레이테스팅 및 게임플레이 행동을 시뮬레이션함으로써 게임 개발을 지원하는 지능형 에이전트를 훈련시키는 것을 제안한다. A* 계획에서 딥 강화학습에 이르기까지 다양한 기법을 통해 기량과 스타일을 균형 잡는 것으로, 저자들은 최신 강화학습 모델이 벤치마크 환경에서 실제 게임 개발 환경으로 효과적으로 전이되기 위해 광범위한 초모수 조정이 필요하다는 것을 입증한다.

ABSTRACT

Recently, there have been several high-profile achievements of agents learning to play games against humans and beat them. In this paper, we study the problem of training intelligent agents in service of game development. Unlike the agents built to "beat the game", our agents aim to produce human-like behavior to help with game evaluation and balancing. We discuss two fundamental metrics based on which we measure the human-likeness of agents, namely skill and style, which are multi-faceted concepts with practical implications outlined in this paper. We report four case studies in which the style and skill requirements inform the choice of algorithms and metrics used to train agents; ranging from A* search to state-of-the-art deep reinforcement learning. We, further, show that the learning potential of state-of-the-art deep RL models does not seamlessly transfer from the benchmark environments to target ones without heavily tuning their hyperparameters, leading to linear scaling of the engineering efforts and computational cost with the number of target domains.

연구 동기 및 목표

• 승리 최적화에만 치중하지 않고, 인간과 유사한 플레이어 행동을 시뮬레이션함으로써 게임 디자인을 지원하는 지능형 에이전트를 개발하는 것.
• 자동 플레이테스팅 및 비플레이어 캐릭터(NPC) 설계에 활용할 수 있는 실제적인 플레이어 기량과 스타일을 반영하는 에이전트를 만드는 데 도전하는 것.
• 규칙 기반 계획에서 딥 강화학습에 이르기까지 다양한 알고리즘들이 특정 게임 디자인 요구사항에 따라 어떻게 선택될 수 있는지 조사하는 것.
• 최신 딥 강화학습 모델이 벤치마크 환경(예: Atari)에서 실제 게임 개발 환경으로 전이되는 정도를 평가하는 것.
• 특정 디자인 환경에서 단순한 모델(예: A*)이 복잡한 강화학습보다 뛰어난 성능을 보일 수 있음을 식별함으로써 엔지니어링 및 계산 비용을 줄이는 것.

제안 방법

• 기량을 작업 효율성으로 정의하고, 스타일을 게임플레이 중 통계적 행동 패턴으로 정의하여 이 두 지표를 사용해 에이전트의 인간다움을 평가한다.
• The Sims Mobile에서 A* 검색을 적용하여 학습 없이도 빠르고 최소한의 동작으로 진행되는 방식을 모델링함으로써 경량이고 정밀한 플레이테스팅을 가능하게 한다.
• 지연 보상이 존재하는 모바일 게임에서 모델에 의존하지 않는 딥 강화학습(PPO, Rainbow)을 적용하여 플레이어 진행 패턴을 기반으로 디자이너의 결정을 평가한다.
• 다중 해상도 마르코프 모델 앙상블을 구현하여 인간의 시연에서 스타일을 캡처하고, 인간의 피드백을 통한 루프와 함께 정제하여 컴act한 DNN로 정제함으로써 더 빠른 추론을 구현한다.
• 팀 스포츠 게임에서 복잡한 타인의 행동이 등장하는 환경에서 딥 강화학습 에이전트를 훈련시키며, 동료의 스타일에 영향을 받는 복잡한 행동을 고려해 보상 설계와 초모수 조정을 신중히 수행한다.
• 다양한 알고리즘과 관측 공간 간의 에이전트 성능을 비교하기 위해 분석 실험을 수행함으로써 도메인 특화 조정의 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 지능형 에이전트는 승리 비율을 극대화하는 데만 치중하지 않고, 게임 개발에서 인간과 유사한 행동을 어떻게 시뮬레이션할 수 있는가?
• RQ2 기량과 스타일을 얼마나 정량적으로 모델링하고 균형 잡을 수 있으며, 이를 게임 디자인 작업 지원에 어떻게 활용할 수 있는가?
• RQ3 기본적인 목적이 명확하고 단순한 게임에서는 A*와 같은 경량 계획 알고리즘이 딥 강화학습를 능가할 수 있는가?
• RQ4 관측 공간 설계와 보상 설계는 지연 보상을 가진 게임에서 딥 강화학습 에이전트의 성능에 어떤 영향을 미치는가?
• RQ5 최신 딥 강화학습 모델(예: PPO, Rainbow)은 광범위한 초모수 조정 없이도 벤치마크 환경에서 실제 게임 개발 도메인으로 효과적으로 전이되는가?

주요 결과

• The Sims Mobile에서는 목적이 명확하고 구조가 단순한 탓에 A* 검색이 딥 강화학습를 능가했다. 이는 목적이 명확하고 최소한의 동작이 요구되는 상황에서는 학습이 아닌 방법이 더 효과적일 수 있음을 입증한다.
• 지연 보상을 가진 모바일 게임에서 관측 공간의 선택은 딥 강화학습 에이전트의 효과성에 결정적인 영향을 미쳤으며, 최적화되지 않은 공간은 정책 학습의 열악한 성능을 초래했다.
• 다중 해상도 마르코프 모델 앙상블은 스타일을 효과적으로 캡처했지만, 탐색되지 않은 상태에서는 일반화 성능이 열악했다. 이 문제는 기본 규칙 추가와 인간의 피드백을 통한 정제로 완화되었다.
• 앙상블 모델을 지도 기반 DNN로 정제함으로써 추론 속도와 일반화 능력이 향상되었으며, 이는 스타일 전이에 하이브리드 모델링의 가치를 입증한다.
• 팀 스포츠 게임에서 PPO 에이전트는 정책 최적화의 국소 최소값에 도달하여, 보상 설계 없이 직접 정책 학습을 수행할 경우 비최적의 행동이 발생할 수 있음을 시사한다.
• 최신 딥 강화학습 모델(PPO, Rainbow 등)은 벤치마크 환경에서 목표 게임으로의 일반화가 원활하지 않으며, 광범위한 초모수 조정이 필요로 하여 매 새로운 도메인마다 엔지니어링 노력이 선형적으로 증가한다.