[論文レビュー] Mix & Match Agent Curricula for Reinforcement Learning

Wojciech Marian Czarnecki, Siddhant M. Jayakumar+6 more|arXiv (Cornell University)|Jun 5, 2018

Reinforcement Learning in Robotics参考文献 20被引用数 29

ひとこと要約

Mix & Match (M&M) は強化学習のカリキュラム学習フレームワークであり、複雑なターゲットエージェントを、より単純で訓練が容易なエージェント変種からの段階的知識蒸留によって訓練する。動的混合ポリシーとKLダイバージェンスに基づく蒸留を用いる。このフレームワークにより、大きな行動空間や複雑なアーキテクチャを持つエージェントの訓練が高速かつ安定化され、従来手法に比べて3D環境における優れた性能が達成される。

ABSTRACT

We introduce Mix&Match (M&M) - a training framework designed to facilitate rapid and effective learning in RL agents, especially those that would be too slow or too challenging to train otherwise. The key innovation is a procedure that allows us to automatically form a curriculum over agents. Through such a curriculum we can progressively train more complex agents by, effectively, bootstrapping from solutions found by simpler agents. In contradistinction to typical curriculum learning approaches, we do not gradually modify the tasks or environments presented, but instead use a process to gradually alter how the policy is represented internally. We show the broad applicability of our method by demonstrating significant performance gains in three different experimental setups: (1) We train an agent able to control more than 700 actions in a challenging 3D first-person task; using our method to progress through an action-space curriculum we achieve both faster training and better final performance than one obtains using traditional methods. (2) We further show that M&M can be used successfully to progress through a curriculum of architectural variants defining an agents internal state. (3) Finally, we illustrate how a variant of our method can be used to improve agent performance in a multitask setting.

研究の動機と目的

• 複雑な強化学習エージェントの訓練という課題に取り組むこと。これらのエージェントは、初期から訓練すると遅すぎたり不安定になり、訓練が困難である。
• 従来のカリキュラム学習の制限を克服すること。従来の方法はタスクレベルの変更を必要とし、環境設計が固定されている場合には適用できない。
• 単純で訓練が容易なエージェントから最終的な複雑なターゲットエージェントへの知識伝達を可能にする方法を開発すること。アーキテクチャのカリキュラムを通じて実現する。
• 大規模な行動空間や複雑なエージェントアーキテクチャを有する挑戦的な3D環境において、データ効率と最終的な性能を向上させること。
• 環境やタスク仕様の変更なしに、多様な強化学習設定に一般化可能なフレームワークを提供すること。

提案手法

• フレームワークは混合ポリシー πmm = Σ αiπi を用い、αi は時間とともに変化する混合係数であり、訓練の過程で単純なエージェントからより複雑なエージェントへとシフトする。
• 知識蒸留はKLダイバージェンス損失を用いて実装される：L = (1−α)DKL(π1∥π2)。初期段階の訓練では、複雑なエージェントが単純なエージェントの行動を模倣するよう促進される。
• 混合係数 α は、α1=1（単純エージェントのみ）から αK=1（ターゲットエージェントのみ）へと段階的に増加させることで、エージェントアーキテクチャのカリキュラムを実現する。
• 本手法は行動空間カリキュラム（行動空間サイズの変化）とアーキテクチャカリキュラム（内部状態表現の変化）の両方をサポートする。
• 蒸留は訓練中にオンラインで適用され、最終的なポリシーでは経験収集にターゲットエージェントのポリシーのみが使用される。
• 本アプローチは標準的な強化学習アルゴリズムと互換性があり、環境の変更が可能な場合にはタスクベースのカリキュラムとも組み合わせ可能である。

実験結果

リサーチクエスチョン

• RQ1 タスクではなくエージェントアーキテクチャのカリキュラムが、ディープ強化学習における訓練効率と最終的性能を向上させ得るか？
• RQ2 環境の変更なしに、単純で訓練が容易なエージェントから複雑なターゲットエージェントへの知識伝達を効果的に実現する方法は何か？
• RQ3 ポリシー混合と蒸留による段階的訓練は、大規模行動空間の3D環境において、収束速度の向上とより優れた最終的性能をもたらすか？
• RQ4 M&Mフレームワークは、再帰的またはメモリ拡張型ネットワークのような複雑な内部状態表現を持つエージェントの訓練に適用可能か？
• RQ5 動的混合ポリシーは、標準的な訓練と比較して、学習の安定性とデータ効率にどのような影響を及ぼすか？

主な発見

• 700以上の行動を有する3Dファーストパーソンナビゲーションタスクにおいて、M&Mは従来手法に比べて高速な訓練と優れた最終的性能を達成した。
• 本手法により、従来直接訓練が困難であった大規模行動空間を有する複雑なエージェントの訓練に成功した。
• M&Mは、アーキテクチャ変種のカリキュラムを通じた有効な学習を可能にしたため、マルチタスク設定における性能向上を実現した。
• 時間変動する混合ポリシーを用いた蒸留により、安定した知識伝達が実現され、訓練の不安定性が低減された。
• フレームワークは、行動空間サイズや内部アーキテクチャの複雑さの種類に関係なく、広範な適用性を示した。
• 実験的結果から、時間変動する α を用いた提案された蒸留損失が、複雑なエージェントを単純な先行エージェントの行動に効果的に導くことが示された。