[논문 리뷰] Deep Reinforcement Learning using Capsules in Advanced Game Environments

Per‐Arne Andersen|arXiv (Cornell University)|2018. 01. 29.

Artificial Intelligence in Games인용 수 8

한 줄 요약

이 논문은 고도화된 게임 환경에서 딥 Q러닝을 위한 캡슐 네트워크(CapsNet)를 소개하며, 강화학습 연구를 위한 네 가지 새로운 RL 테스트베드—FlashRL, Deep Line Wars, Deep RTS, Deep Maze—를 제안한다. 이는 점점 더 복잡한 환경에서 강화학습 에이전트를 연구하기 위함이다. 연구에서는 CapsNet을 DQN과 성공적으로 통합할 수 있음을 보여주며, 컨볼루션 네트워크(ConvNets)와 유사한 성능를 기록하지만 더 적은 데이터 요구량을 보이며, 동시에 훈련 데이터를 합성하기 위한 조건부 생성 모델(CCDN)을 도입한다. 다만 확장성은 여전히 제한점으로 남아 있다.

ABSTRACT

Reinforcement Learning (RL) is a research area that has blossomed tremendously in recent years and has shown remarkable potential for artificial intelligence based opponents in computer games. This success is primarily due to vast capabilities of Convolutional Neural Networks (ConvNet), enabling algorithms to extract useful information from noisy environments. Capsule Network (CapsNet) is a recent introduction to the Deep Learning algorithm group and has only barely begun to be explored. The network is an architecture for image classification, with superior performance for classification of the MNIST dataset. CapsNets have not been explored beyond image classification. This thesis introduces the use of CapsNet for Q-Learning based game algorithms. To successfully apply CapsNet in advanced game play, three main contributions follow. First, the introduction of four new game environments as frameworks for RL research with increasing complexity, namely Flash RL, Deep Line Wars, Deep RTS, and Deep Maze. These environments fill the gap between relatively simple and more complex game environments available for RL research and are in the thesis used to test and explore the CapsNet behavior. Second, the thesis introduces a generative modeling approach to produce artificial training data for use in Deep Learning models including CapsNets. We empirically show that conditional generative modeling can successfully generate game data of sufficient quality to train a Deep Q-Network well. Third, we show that CapsNet is a reliable architecture for Deep Q-Learning based algorithms for game AI. A capsule is a group of neurons that determine the presence of objects in the data and is in the literature shown to increase the robustness of training and predictions while lowering the amount training data needed. It should, therefore, be ideally suited for game plays.

연구 동기 및 목표

• 복잡한 게임 환경에서 캡슐 네트워크를 딥 강화학습에 통합하는 것이 가능한지 탐색하는 것.
• 실시간 전략 및 탐색 작업 연구를 촉진하기 위해, FlashRL, Deep Line Wars, Deep RTS, Deep Maze라는 네 가지 새로운 게임 환경을 설계하고 구현하는 것.
• 실제 게임 상태를 기반으로 미래 상태를 생성하는 조건부 생성 모델링 기법(CCDN)을 개발하여 강화학습 에이전트의 훈련 데이터를 보완하는 것.
• 캡슐 네트워크 기반 DQN 에이전트의 성능을 기존 컨볼루션 네트워크 기반 DQN과 비교하여 학습 안정성, 데이터 효율성, 확장성 측면에서 평가하는 것.
• 초기 성공 사례를 제시하고 확장성 및 훈련 불안정성 등의 주요 과제를 규명함으로써 향후 캡슐 네트워크 기반 강화학습 연구의 기반을 마련하는 것.

제안 방법

• 캡슐 네트워크를 DQN과 통합한 새로운 딥 강화학습 생태계를 제안하며, 성능 평가를 위해 커스터마이징된 게임 환경을 사용한다.
• 복잡도가 점점 증가하는 네 가지 게임 환경을 설계함: FlashRL(플래시 게임 플랫폼), Deep Line Wars(턴제 전략), Deep RTS(실시간 전략), Deep Maze(탐색).
• 현재 상태와 행동에서 미래의 게임 상태를 생성하기 위해 조건부 컨volution 디컨볼루션 네트워크(CCDN)를 개발하여 훈련 데이터 증강을 가능하게 한다.
• MNIST 분류를 넘어서 게임 상태의 공간적 및 계층적 관계를 포착할 수 있도록 캡슐 네트워크 아키텍처를 재구성함으로써 강화학습 환경에서의 기능을 가능하게 한다.
• 실제 데이터와 인공적으로 생성된 데이터를 모두 사용하여 DQN 에이전트를 훈련시키며, 네 가지 환경 전반에서 캡슐 네트워크 대비 컨볼루션 네트워크의 성능을 분석하는 아블레이션 연구를 수행한다.
• 실제 게임 데이터와 CCDN에서 생성된 합성 데이터를 조합한 하이브리드 훈련 파이프라인을 적용하여 일반화 능력과 데이터 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 이미지 분류를 넘어서 고도화된 게임 환경에서 딥 Q러닝 에이전트에 효과적으로 통합될 수 있는가?
• RQ2 캡슐 네트워크 기반 DQN의 성능은 기존 컨볼루션 네트워크 기반 DQN 대비 학습 안정성, 샘플 효율성, 최종 에이전트 성능 측면에서 어떻게 비교되는가?
• RQ3 조건부 생성 모델링(CCDN)이 얼마나 높은 품질의 인공 게임 상태를 생성할 수 있으며, 이를 통해 DQN 에이전트의 효과적인 훈련이 가능할 수 있는가?
• RQ4 딥 RTS와 같은 고차원적이고 연속적인 게임 환경에 적용했을 때 캡슐 네트워크의 확장성에 어떤 제한이 존재하는가?
• RQ5 CCDN를 통해 생성된 인공 훈련 데이터가 실데이터와 조합되었을 때 DQN 학습에 실제로 향상 효과를 줄 수 있는가?

주요 결과

• 캡슐 네트워크 기반 DQN 에이전트는 Deep Line Wars나 Deep Maze와 같은 더 간단한 환경에서 컨볼루션 네트워크 기반 DQN과 유사한 성능를 기록하여 강화학습 통합의 가능성을 입증하였다.
• 일부 실험에서 캡슐 네트워크는 더 높은 강건성과 더 낮은 데이터 요구량을 보이며, 강화학습에서 데이터 효율적 학습의 잠재력을 입증하였다.
• 조건부 생성 모델(CCDN)은 실데이터와 조합되었을 때 충분한 품질의 인공 게임 상태를 성공적으로 생성하여 DQN 에이전트의 효과적 훈련을 가능하게 하였다.
• 특히 복잡한 환경에서 캡슐 네트워크 기반 에이전트에서 훈련 불안정성이 관찰되어 최적화 및 수렴 문제에 도전 과제가 있음을 시사하였다.
• 캡슐 네트워크의 확장성은 컨볼루션 네트워크에 비해 열등한 것으로 나타났으며, 특히 Deep RTS와 같은 고차원의 행동 및 상태 공간에서는 그 한계가 두드러져 아키텍처 개선 없이선 고도화된 게임에서의 적용을 제한하였다.
• CCDN에서 생성한 인공 데이터를 실데이터와 조합함으로써 DQN 에이전트의 성공적인 훈련이 가능했으며, 이는 생성 모델링을 통한 강화학습의 데이터 증강 잠재력이 검증됨을 의미한다.