[論文レビュー] Sample Efficient Reinforcement Learning through Learning from Demonstrations in Minecraft

Christian Scheller, Yanick Schraner+1 more|arXiv (Cornell University)|Mar 12, 2020

Reinforcement Learning in Robotics参考文献 21被引用数 9

ひとこと要約

この論文は、人間のデモから模倣学習を行い、IMPALAを用いたファインチューニングにより、サンプル効率の高い強化学習パイプラインを提案する。この手法は、経験再生、アドバンテージクリッピング、Catastrophic Forgettingの防止のためのCLEAR、および分離されたアクトロ・クリティックネットワークを用い、800万フレームの環境フレームのみで平均スコア48を達成し、NeurIPS 2019 MineRLコンペティションで3位を獲得した。

ABSTRACT

Sample inefficiency of deep reinforcement learning methods is a major obstacle for their use in real-world applications. In this work, we show how human demonstrations can improve final performance of agents on the Minecraft minigame ObtainDiamond with only 8M frames of environment interaction. We propose a training procedure where policy networks are first trained on human data and later fine-tuned by reinforcement learning. Using a policy exploitation mechanism, experience replay and an additional loss against catastrophic forgetting, our best agent was able to achieve a mean score of 48. Our proposed solution placed 3rd in the NeurIPS MineRL Competition for Sample-Efficient Reinforcement Learning.

研究の動機と目的

• Minecraftのような複雑で報酬がスパarsityな環境における深層強化学習のサンプル非効率性を解消する。
• 800万回の環境インタラクションのみを用いて、ObtainDiamondタスクにおける最終的パフォーマンスを向上させる。
• 標準的な強化学習によるファインチューニングで、模倣学習で得たポリシーの性能低下を回避する。
• 訓練を安定化させ、デモから得たレアで高報酬の行動のCatastrophic Forgettingを防ぐ。
• 模倣学習と強化学習の高度な技術を組み合わせることで、厳密なサンプル制限下でも優れたパフォーマンスを達成できることを示す。

提案手法

• 6000万以上のヒューマンデモトラジェクトリを用いて、教師あり学習でポリシーおよび価値ネットワークを事前学習する。
• 大規模な経験再生バッファ（リプレイ比15）を用いて、IMPALAによる事前学習済ポリシーのファインチューニングを行う。
• アドバンテージクリッピングを適用し、平均以上に良いトラジェクトリのみを対象にポリシー更新を行うことで、デモ行動の効果的な活用を促進する。
• Cata的フォールディングを軽減するため、正則化を用いてポリシーと価値ネットワークを同時に最適化するCLEAR（Continual Learning with Experience Replay）を導入する。
• トレーニングの安定性とパフォーマンスを向上させるために、共有アーキテクチャではなく、分離されたアクトロとクリティックネットワークを用いる。
• マルチコンponentのトレーニングパイプラインを採用：模倣学習 → 経験再生 → アドバンテージクリッピング → CLEAR → 最終的ファインチューニング。

実験結果

リサーチクエスチョン

• RQ1 人間のデモは、MinecraftのObtainDiamondのような階層的かつ報酬がスパarsityなタスクにおける深層強化学習のサンプル効率を顕著に向上させ得るか？
• RQ2 模倣学習済ポリシーのナチュラルファインチューニングがなぜパフォーマンス低下を引き起こすのか、そしてその原因をどのように緩和できるか？
• RQ3 経験再生、アドバンテージクリッピング、CLEARが、800万フレーム制限下で個別および総合的にどれほど最終パフォーマンスを向上させるか？
• RQ4 共有ネットワークアーキテクチャと比較して、アクトロとクリティックネットワークを分離することは、より良いパフォーマンスと安定性をもたらすか？
• RQ5 限定的なヒューマンデモのみで学習したエージェントが、ランダムに生成されたMinecraftマップの間でどれほど一般化できるか？

主な発見

• 最良のエージェントは平均スコア48を達成し、ナチュラルファインチューニング（平均スコア2.9）を著しく上回り、教師ありベースライン（平均10.3）をも上回った。
• リプレイ比15の経験再生が最高のパフォーマンスをもたらし、サンプル効率におけるその重要性を示した。
• アドバンテージクリッピングをCLEARと組み合わせることで、学習が安定化し、平均スコアが37.5から39.9に向上した。これは、デモ行動の効果的活用が可能になったことを示している。
• CLEARはCatastrophic Forgettingを効果的に防止し、ダイヤモンドの採掘といった高報酬サブタスクの実行能力を維持した。
• 分離されたアクトロ・クリティックネットワークとCLEARの組み合わせにより、トレーニングがより安定し、最大スコア163を達成するなど、共通ネットワークと比較して優れたパフォーマンスが得られた。
• 完全なパイプライン（模倣学習 + 経験再生 + アドバンテージクリッピング + CLEAR + 分離ネットワーク）は平均スコア40を達成し、1つのエージェントが48に達し、NeurIPS 2019 MineRLコンペティションで3位を獲得した。