[논문 리뷰] DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games

Alessandro Sestini, Alexander Kuhnle외 1명|arXiv (Cornell University)|2020. 12. 03.

Reinforcement Learning in Robotics참고 문헌 14인용 수 5

한 줄 요약

이 논문은 Proximal Policy Optimization (PPO)를 통해 훈련된 딥 강화학습(DRL) 정책 네트워크로 제어되는 비플레이어 캐릭터(NPC)를 갖춘 턴기반 루게이크 게임 프로토타입인 DeepCrawl를 제시한다. 이 시스템은 수동으로 설계된 전략 없이 신뢰할 수 있고 도전적이며 다양한 NPC 행동을 성공적으로 생성하였으며, DRL이 모바일 및 데스크톱 게임에서 매력적인 초인수준이 아닌 인공지능 상대를 만들기 위한 실용적인 게임 디자인 도구로 활용될 수 있음을 보여준다.

ABSTRACT

In this paper we introduce DeepCrawl, a fully-playable Roguelike prototype for iOS and Android in which all agents are controlled by policy networks trained using Deep Reinforcement Learning (DRL). Our aim is to understand whether recent advances in DRL can be used to develop convincing behavioral models for non-player characters in videogames. We begin with an analysis of requirements that such an AI system should satisfy in order to be practically applicable in video game development, and identify the elements of the DRL model used in the DeepCrawl prototype. The successes and limitations of DeepCrawl are documented through a series of playability tests performed on the final game. We believe that the techniques we propose offer insight into innovative new avenues for the development of behaviors for non-player characters in video games, as they offer the potential to overcome critical issues with

연구 동기 및 목표

• 딥 강화학습(DRL)이 비디오 게임에서 매력적이고 초인수준이 아닌 NPC 행동을 생성하기 위한 실용적인 게임 디자인 도구로 사용될 수 있는지 조사하는 것.
• iOS 및 안드로이드와 같은 모바일 플랫폼에 적합한 가벼운, 구현 가능한 DRL 프레임워크를 개발하여 다양한 NPC 유형을 파rameter 조정을 통해 지원하는 것.
• NPC의 난이도를 균형 있게 조정하여 에이전트가 도전적이지만 도전 가능하도록 하여 즐겁고 현실적인 게임 플레이 경험을 보장하는 것.
• DRL이 수동으로 설계된 AI 규칙나 사전 행동 사양 없이도 다양한 전략 기반 행동을 생성할 수 있는지 평가하는 것.

제안 방법

• 게임은 프로시저럴하게 생성된 던전 레벨을 갖춘 턴기반 루게이크 환경을 사용하며, 각 레벨에서 플레이어는 여러 적 에이전트와 전투한다.
• NPC 에이전트는 Proximal Policy Optimization(PPO)를 통해 훈련된 정책 네트워크에 의해 제어되며, 이는 액터-크리틱 딥 강화학습 알고리즘이다.
• 정책 네트워크와 가치 네트워크는 공통된 컨볼루션 신경망 아키텍처를 공유하며, 입력 특징으로는 에이전트의 능력치, 환경 상태, 액션 공간이 포함된다.
• 훈련을 가속화하고 최종 성능을 향상시키기 위해 과제 복잡도를 점진적으로 증가시키는 커리큘럼 학습 전략을 적용한다.
• 희소 보상이 사용되며, 승리 시 +10, 사망 시 -10, 단계 제한에 도달할 경우 0의 보상을 제공하며, 밀도 높은 형태의 보상 조정이나 수동으로 설계된 보상 함수는 사용하지 않는다.
• 하이퍼파라미터로는 정책 학습률 $10^{-6}$, 기준선 학습률 $10^{-4}$, 할인 요소 $\gamma = 0.99$, 탐색 비율 $\epsilon = 0.2$를 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습이 초인수준이거나 단순한 AI를 피하면서도 신뢰할 수 있고 도전 가능한 NPC를 훈련시키는 데 사용될 수 있는가?
• RQ2 단일 DRL 프레임워크가 파rameter 조정만으로 다양한 NPC 유형 간에 다양한 전략 기반 행동을 얼마나 잘 생성할 수 있는가?
• RQ3 커리큘럼 학습이 희소 보상, 턴기반 게임 환경에서 훈련 효율성과 최종 정책 품질을 크게 향상시키는가?
• RQ4 사전 지식이나 수동으로 설계된 규칙 없이도 DRL이 희소 보상에 기반해 효과적인 NPC 행동을 생성할 수 있는가?

주요 결과

• 훈련 중 커리큘럼 학습을 적용함으로써 수렴 속도가 크게 향상되었고 최종 성능도 향상되었으며, 커리큘럼 없이 훈련한 경우보다 평균 보상이 높게 나타났다.
• 플레이어 테스트에서 참가자들은 NPC 에이전트가 지능적이고 전략적으로 일관된 행동을 보이며 직업(예: 전사, 궁수, 레인저)에 따라 의미 있는 차이를 보였다고 평가했으며, 성공적으로 행동의 다양성이 구현된 것으로 나타났다.
• 희소 보상에도 불구하고 DRL 에이전트는 사전 행동 사양 없이도 효과적인 전략을 학습했으며, 이는 모델이 복잡한 전술을 자율적으로 발견할 수 있음을 보여준다.
• 모든 10명의 플레이테스터가 집중과 시간 투자로 게임을 즐기고 도전할 수 있었으며, 에이전트가 도전적이지만 초인수준이 아니라는 점을 확인하여 균형 잡힌 게임플레이나 목표를 성실히 달성했다.
• 에이전트의 행동은 다른 루게이크 게임의 행동과 유사하거나 그 이상으로 평가되었으며, 테스터들은 다양한 적 전술 덕분에 높은 재플레이 가치를 느꼈다.
• DRL 프레임워크는 모바일 플랫폼에서 구현 가능했으며, 경량 네트워크 아키텍처 덕분에 모바일 기기에서도 효율적인 추론이 가능했다.