[論文レビュー] Deep Reinforcement Learning using Capsules in Advanced Game Environments

Per‐Arne Andersen|arXiv (Cornell University)|Jan 29, 2018

Artificial Intelligence in Games被引用数 8

ひとこと要約

本論文は、高度なゲーム環境における深層Q学習（Deep Q-Learning）のためのキャプセルネットワーク（CapsNet）を提案し、RLのテストベッドとしてFlashRL、Deep Line Wars、Deep RTS、Deep Mazeの4つの新しい環境を導入した。CapsNetはDQNと効果的に統合可能であり、ConvNetsと同等の性能を示すが、データ要件が低減される。また、条件付き生成モデル（CCDN）を導入して学習データを合成するが、スケーラビリティの面で制限が残る。

ABSTRACT

Reinforcement Learning (RL) is a research area that has blossomed tremendously in recent years and has shown remarkable potential for artificial intelligence based opponents in computer games. This success is primarily due to vast capabilities of Convolutional Neural Networks (ConvNet), enabling algorithms to extract useful information from noisy environments. Capsule Network (CapsNet) is a recent introduction to the Deep Learning algorithm group and has only barely begun to be explored. The network is an architecture for image classification, with superior performance for classification of the MNIST dataset. CapsNets have not been explored beyond image classification. This thesis introduces the use of CapsNet for Q-Learning based game algorithms. To successfully apply CapsNet in advanced game play, three main contributions follow. First, the introduction of four new game environments as frameworks for RL research with increasing complexity, namely Flash RL, Deep Line Wars, Deep RTS, and Deep Maze. These environments fill the gap between relatively simple and more complex game environments available for RL research and are in the thesis used to test and explore the CapsNet behavior. Second, the thesis introduces a generative modeling approach to produce artificial training data for use in Deep Learning models including CapsNets. We empirically show that conditional generative modeling can successfully generate game data of sufficient quality to train a Deep Q-Network well. Third, we show that CapsNet is a reliable architecture for Deep Q-Learning based algorithms for game AI. A capsule is a group of neurons that determine the presence of objects in the data and is in the literature shown to increase the robustness of training and predictions while lowering the amount training data needed. It should, therefore, be ideally suited for game plays.

研究の動機と目的

• 複雑なゲーム環境における強化学習（RL）へのキャプセルネットワーク（CapsNet）の統合可能性を検証すること。
• リアルタイム戦略およびナビゲーションタスクにおけるRL研究を前進させる目的で、FlashRL、Deep Line Wars、Deep RTS、Deep Mazeの4つの新規ゲーム環境を設計・実装すること。
• 現在の状態と行動から将来のゲーム状態を合成する条件付き生成モデリング手法（CCDN）を開発し、RLエージェントの学習データを拡張すること。
• CapsNetベースのDQNエージェントと標準のConvNetベースのDQNエージェントの間で、学習安定性、データ効率、スケーラビリティの観点から性能を評価すること。
• 初期の成功を示し、スケーラビリティや訓練不安定性といった主な課題を特定することで、将来のCapsNetを用いたRL研究の基盤を構築すること。

提案手法

• CapsNetとDQNを統合した新規な深層強化学習エコシステムを提案し、カスタムゲーム環境を用いて性能を評価した。
• 複雑度が段階的に上昇する4つのゲーム環境を設計した：FlashRL（Flashゲームプラットフォーム）、Deep Line Wars（ターンベース戦略）、Deep RTS（リアルタイム戦略）、Deep Maze（ナビゲーション）。
• 現在の状態と行動から将来のゲーム状態を生成する条件付き畳み込みデコンボリューションネットワーク（CCDN）を開発し、学習のためのデータ拡張を可能にした。
• MNIST分類を越える空間的・階層的関係をゲーム状態で捉えるために、CapsNetアーキテクチャを再定義し、RL環境に適応させた。
• 実データと人工的に生成されたデータの両方を用いてDQNエージェントを訓練し、4つの環境すべてでアブレーションスタディを実施し、CapsNetとConvNetの比較を評価した。
• 実ゲームデータとCCDNからの合成データを組み合わせたハイブリッドトレーニングパイプラインを適用し、汎化性能とデータ効率を評価した。

実験結果

リサーチクエスチョン

• RQ1 画像分類を越えた高度なゲーム環境において、キャプセルネットワーク（CapsNet）を深層Q学習エージェントに効果的に統合できるか？
• RQ2 学習安定性、データ効率、最終的なエージェント性能の観点から、CapsNetベースのDQNは標準のConvNetベースのDQNと比べてどの程度優れているか？
• RQ3 条件付き生成モデリング（CCDN）が、DQNエージェントの有効な学習を可能にする十分な品質の合成ゲーム状態をどの程度生成できるか？
• RQ4 Deep RTSのような高次元で連続的なゲーム環境に応用した場合、CapsNetのスケーラビリティにどのような制限があるか？
• RQ5 CCDNで生成された人工データを実データと組み合わせることで、DQNの学習が実際に向上するか？

主な発見

• Deep Line Wars や Deep Maze といったより単純な環境では、CapsNetベースのDQNエージェントがConvNetベースのDQNと同等の性能を達成した。これは、RL統合の可能性を示している。
• 一部の実験でCapsNetは耐性が高く、データ要件が低減された。これは、RLにおけるデータ効率の高い学習の可能性を支持する。
• 条件付き生成モデル（CCDN）は、実データと組み合わせた場合に、DQNエージェントの有効な学習が可能な十分な品質の合成ゲーム状態を生成できた。
• 特に複雑な環境では、CapsNetベースのエージェントで訓練不安定性が観察された。これは最適化と収束の面での課題を示唆している。
• CapsNetのスケーラビリティはConvNetsに劣っており、特にDeep RTSのような高次元の状態空間と行動空間では、アーキテクチャの改善なしでは高度なゲームへの応用が制限される。
• CCDNから生成された人工データを実データと組み合わせることで、DQNエージェントの学習が成功裏に実施された。生成モデリングによるデータ拡張の可能性が裏付けられた。