[論文レビュー] Evolutionarily-Curated Curriculum Learning for Deep Reinforcement Learning Agents

Michael Cerny Green, Benjamin Sergent+2 more|arXiv (Cornell University)|Jan 16, 2019

Reinforcement Learning in Robotics参考文献 12被引用数 4

ひとこと要約

本稿では、進化的アルゴリズムを用いてDQNエージェントの損失を最大化するトレーニングマップを生成することで、弱みに直面・克服させることで、学習を促進し一般化性能を向上させる、進化的に校正されたカリキュラム学習（ECCL）を提案する。この手法により、学習が加速され、より優れた一般化性能が得られ、進化的に生成されたカリキュラムで訓練されたエージェントは、より長い訓練時間を要するランダムマップで訓練されたエージェントをも上回る性能を発揮する。

ABSTRACT

In this paper we propose a new training loop for deep reinforcement learning agents with an evolutionary generator. Evolutionary procedural content generation has been used in the creation of maps and levels for games before. Our system incorporates an evolutionary map generator to construct a training curriculum that is evolved to maximize loss within the state-of-the-art Double Dueling Deep Q Network architecture with prioritized replay. We present a case-study in which we prove the efficacy of our new method on a game with a discrete, large action space we made called Attackers and Defenders. Our results demonstrate that training on an evolutionarily-curated curriculum (directed sampling) of maps both expedites training and improves generalization when compared to a network trained on an undirected sampling of maps.

研究の動機と目的

• 深く強化学習のトレーニングにおいて、ブルートフォースなランダムサンプリングの非効率性を解消すること。
• 方向性があり適応的なカリキュラム生成を通じて、深層RLエージェントの一般化性能を向上させ、収束を加速すること。
• 進化的なトレーニングコンテンツを用いて、動的にネットワークの弱みを同定・標的化する手法を開発すること。
• 大規模な離散的アクション空間を持つカスタムゲーム環境において、進化的に校正されたカリキュラムの有効性を評価すること。

提案手法

• 進化的アルゴリズムが、エージェントの損失を最大化するマップを生成し、高い難易度またはネットワークの弱みを示す。
• 損失は、優先順位付き経験リプレイを備えたダブルデュアルDQNを用いて計算され、安定的で効率的な学習を保証する。
• トレーニングカリキュラムはエージェントのパフォーマンスに基づき動的に更新され、学習上の欠陥を露呈するマップに焦点を当てる。
• エージェントのトレーニングと損失に基づく新しいマップの進化を交互に繰り返すことで、フィードバックループを形成する。
• 進化的な生成器は汎用的であり、ドメイン特化のチューニングを必要とせず、ゲームパラメータと損失関数のみを必要とする。
• 混合トレーニング条件では、進化生成マップとランダム生成マップを組み合わせ、マップの起源に起因する過学習の可能性を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 進化的な生成器は、深層強化学習のトレーニングを加速するカリキュラムを生成できるか？
• RQ2 進化的に校正されたマップで訓練した場合、ランダムサンプリングに比べ一般化性能が向上するか？
• RQ3 進化生成マップとランダム生成マップの混合で訓練した場合、どのような結果が得られるか？
• RQ4 エージェントは進化生成マップと構築されたマップを識別できるようになり、その結果パフォーマンスに悪影響を及ぼすか？
• RQ5 進化的な生成器の損失に基づくフィットネス関数は、カリキュラムの質とエージェントのパフォーマンスにどのように影響するか？

主な発見

• 完全に進化させたカリキュラムで訓練されたネットワークは、1,600枚のマップを経てピークスコア22.14を達成し、ランダムに訓練されたネットワークを顕著に上回った。
• ランダムに訓練されたネットワークは、6,800枚のマップを経てもスコア20.83に留まり、ランダムサンプリング下での一般化性能の低さを示した。
• 混合ネットワーク（進化生成マップと構築マップの組み合わせで訓練）はピークスコア20.22を記録し、一貫した高い損失（10–14）を示した。これは、一般化性能の低さを示唆した。
• 混合ネットワークはマップの起源を識別する能力を学習し、テストセットにおけるパフォーマンス低下を引き起こす過学習を示した。
• 完全なネットワーク（初期の50マップを除き、すべて進化生成マップで訓練）は、ランダムに生成されたテストマップに対しても効果的に一般化でき、強力なトランスファーラーニングの能力を示した。
• 進化的な生成器のフィットネス関数（エージェントの損失に基づく）は、ネットワークの弱みを的確に同定・標的化でき、学習効率とパフォーマンスの向上に有効であった。