[논문 리뷰] Reinforcement learning in FlipIt

Sang Chin, Laura Greige|arXiv (Cornell University)|2020. 02. 28.

Artificial Intelligence in Games참고 문헌 21인용 수 5

한 줄 요약

이 논문은 불완전하고 불완전한 정보를 가진 두 명의 플레이어가 참여하는 FlipIt이라는 게임에서 방어자가 소유 시간을 최적화할 수 있도록 돕는 딥 Q-러닝 모델을 제시한다. 제한된 관측에도 불구하고, 에이전트는 상대방의 행동에 대한 사전 지식 없이도 주기적이고 지수 분포를 따르는 이동 분포에 대해도 게으른 전략보다 뛰어난 비용 효율적인 대응 전략을 학습한다.

ABSTRACT

Reinforcement learning has shown much success in games such as chess, backgammon and Go. However, in most of these games, agents have full knowledge of the environment at all times. In this paper, we describe a deep learning model that successfully optimizes its score using reinforcement learning in a game with incomplete and imperfect information. We apply our model to FlipIt, a two-player game in which both players, the attacker and the defender, compete for ownership of a shared resource and only receive information on the current state (such as the current owner of the resource, or the time since the opponent last moved, etc.) upon making a move. Our model is a deep neural network combined with Q-learning and is trained to maximize the defender's time of ownership of the resource. Despite the imperfect observations, our model successfully learns an optimal cost-effective counter-strategy and shows the advantages of the use of deep reinforcement learning in game theoretic scenarios. Our results show that it outperforms the Greedy strategy against distributions such as periodic and exponential distributions without any prior knowledge of the opponent's strategy, and we generalize the model to 𝓃-player games.

연구 동기 및 목표

• 불완전하고 불완전한 정보 조건에서도 공유 자원을 효과적으로 방어할 수 있는 강화학습 에이전트를 개발하는 것.
• 딥 신경망을 Q-러닝을 통해 훈련시켜 FlipIt 게임 환경에서 방어자의 소유 시간을 최대화하는 것.
• 기존의 상대방 전략(예: 주기적 및 지수 분포 이동)에 대한 모델 성능 평가.
• FlipIt 게임의 n명 플레이어 버전으로의 접근 방법 일반화.

제안 방법

• 딥 Q-네트워크(DQN)는 시간 차분 학습을 사용하여 FlipIt 게임 환경에서 Q-값 함수를 근사한다.
• 에이전트는 행동을 취할 때 현재 소유 상태와 이전 이동 이후 경과한 시간과 같은 부분적인 상태 정보만 관측한다.
• 경험 재생과 타겟 네트워크를 통해 부분 관측 환경에서 학습을 안정화한다.
• 장기적인 소유를 보상으로 주고 불필요한 이동은 벌점을 주는 보상 형상화 전략을 사용한다.
• 신경망을 통해 역전파를 사용하여 시간 차분 오차를 최소화함으로써 정책을 갱신한다.
• 각 플레이어의 이동을 상태 전이 역학에서 확률적 사건으로 모델링하여 n명 플레이어 게임으로의 접근을 확장한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 부분적이고 불완전한 관측 조건에서도 FlipIt에서 효과적인 방어 전략을 학습할 수 있는가?
• RQ2 다양한 상대방 이동 분포 하에서 딥 Q-러닝 에이전트의 성능은 게으른 전략에 비해 어떻게 다른가?
• RQ3 관측의 희소성이 에이전트가 최적의 비용 효율 전략을 학습하는 데 미치는 영향은 무엇인가?
• RQ4 제안된 방법은 FlipIt 게임의 n명 플레이어 버전으로 일반화될 수 있는가?

주요 결과

• 딥 강화학습 에이전트는 주기적 및 지수 분포 이동 분포에 대해 평균 소유 시간 측면에서 게으른 전략보다 뚜렷이 뛰어난 성능을 보였다.
• 에이전트는 자원을 방어하는 것과 불필요한 이동을 최소화하는 것 사이의 트레이드오프를 균형 잡는 비용 효율 전략을 학습했다.
• 재학습이나 아키텍처 변경 없이도 모델은 n명 플레이어 버전의 FlipIt 게임으로 효과적으로 일반화되었다.
• 제한된 상태 관측 조건에서도 안정적인 학습과 수렴을 달성하여 부분 관측에 대한 강건성을 입증했다.