[论文解读] Deep Reinforcement Learning using Capsules in Advanced Game Environments

Per‐Arne Andersen|arXiv (Cornell University)|Jan 29, 2018

Artificial Intelligence in Games被引用 8

一句话总结

本文提出将胶囊网络（CapsNet）应用于高级游戏环境中的深度Q学习（Deep Q-Learning），引入了四个新的强化学习测试平台——FlashRL、Deep Line Wars、Deep RTS和Deep Maze，以研究在日益复杂的环境中的强化学习智能体。结果表明，CapsNet可成功与DQN结合用于游戏AI，在性能上与卷积神经网络（ConvNets）相当，但数据需求更少；同时提出了一种条件生成模型（CCDN）以合成训练数据，尽管其可扩展性仍存在局限。

ABSTRACT

Reinforcement Learning (RL) is a research area that has blossomed tremendously in recent years and has shown remarkable potential for artificial intelligence based opponents in computer games. This success is primarily due to vast capabilities of Convolutional Neural Networks (ConvNet), enabling algorithms to extract useful information from noisy environments. Capsule Network (CapsNet) is a recent introduction to the Deep Learning algorithm group and has only barely begun to be explored. The network is an architecture for image classification, with superior performance for classification of the MNIST dataset. CapsNets have not been explored beyond image classification. This thesis introduces the use of CapsNet for Q-Learning based game algorithms. To successfully apply CapsNet in advanced game play, three main contributions follow. First, the introduction of four new game environments as frameworks for RL research with increasing complexity, namely Flash RL, Deep Line Wars, Deep RTS, and Deep Maze. These environments fill the gap between relatively simple and more complex game environments available for RL research and are in the thesis used to test and explore the CapsNet behavior. Second, the thesis introduces a generative modeling approach to produce artificial training data for use in Deep Learning models including CapsNets. We empirically show that conditional generative modeling can successfully generate game data of sufficient quality to train a Deep Q-Network well. Third, we show that CapsNet is a reliable architecture for Deep Q-Learning based algorithms for game AI. A capsule is a group of neurons that determine the presence of objects in the data and is in the literature shown to increase the robustness of training and predictions while lowering the amount training data needed. It should, therefore, be ideally suited for game plays.

研究动机与目标

• 探究将胶囊网络整合到复杂游戏环境中的深度强化学习中的可行性。
• 设计并实现四个新型游戏环境——FlashRL、Deep Line Wars、Deep RTS和Deep Maze，旨在推动实时战略与导航任务中的强化学习研究。
• 开发一种条件生成建模方法（CCDN），通过从当前状态和动作生成人工未来游戏状态，以扩充强化学习智能体的训练数据。
• 在学习稳定性、数据效率和可扩展性方面，评估基于CapsNet的DQN智能体与标准基于ConvNet的DQN智能体的性能表现。
• 通过展示初步成功并识别关键挑战（如可扩展性和训练不稳定性），为胶囊网络在强化学习中的未来研究奠定基础。

提出的方法

• 提出了一种新型深度强化学习生态系统，将CapsNet与DQN结合，利用自定义游戏环境评估性能。
• 设计了四个复杂度逐步提升的游戏环境：FlashRL（Flash游戏平台）、Deep Line Wars（回合制策略）、Deep RTS（实时战略）和Deep Maze（导航）。
• 开发了条件卷积去卷积网络（CCDN），从当前状态和动作生成人工未来游戏状态，实现训练数据增强。
• 通过将胶囊目标重新定义为超越MNIST图像分类的任务，使CapsNet架构适用于强化学习场景，以捕捉游戏状态中的空间与层次关系。
• 使用真实数据和人工生成数据联合训练DQN智能体，在所有四个环境中进行性能评估，并开展CapsNet与ConvNet的消融实验。
• 采用混合训练流程，结合真实游戏数据与CCDN生成的合成数据，以评估泛化能力与数据效率。

实验结果

研究问题

• RQ1 胶囊网络能否在图像分类之外的高级游戏环境中有效集成到深度Q学习智能体中？
• RQ2 基于CapsNet的DQN在学习稳定性、样本效率和最终智能体性能方面，与标准基于ConvNet的DQN相比表现如何？
• RQ3 条件生成建模（CCDN）在多大程度上能生成高质量的合成游戏状态，以实现对DQN智能体的有效训练？
• RQ4 当应用于高维、连续的游戏环境（如Deep RTS）时，CapsNet的可扩展性存在哪些局限？
• RQ5 通过CCDN生成的人工训练数据，若与真实数据结合，能否成功提升DQN的学习效果？

主要发现

• 在Deep Line Wars和Deep Maze等较简单环境中，基于CapsNet的DQN智能体性能与基于ConvNet的DQN相当，表明其在强化学习中集成的可行性。
• 在部分实验中，CapsNet表现出更强的鲁棒性并减少了数据需求，支持其在强化学习中实现数据高效学习的潜力。
• 条件生成模型（CCDN）成功生成了质量足够的合成游戏状态，当与真实数据结合时，可有效训练DQN智能体。
• 在复杂环境中观察到基于CapsNet的智能体存在训练不稳定性，表明其在优化与收敛方面存在挑战。
• CapsNet在可扩展性方面表现逊于ConvNets，尤其在如Deep RTS等高维动作与状态空间中，限制了其在高级游戏中的应用，除非进行架构改进。
• 将CCDN生成的人工数据与真实数据结合，成功实现了DQN智能体的训练，验证了生成建模在强化学习数据增强中的潜力。