[論文レビュー] Making Efficient Use of Demonstrations to Solve Hard Exploration Problems

Tom Le Paine, Çaǧlar Gülçehre+12 more|arXiv (Cornell University)|Sep 3, 2019

Reinforcement Learning in Robotics参考文献 41被引用数 41

ひとこと要約

R2D3 は、多様な初期状態を伴う部分的に観測可能な環境における挑戦的な探索問題を、効率的に解消する強化学習エージェントである。数十亿ステップにわたる学習後も他の手法が完全に失敗する8つの新しいベンチマークタスクにおいても、最先端の手法を上回る性能を発揮する。

ABSTRACT

This paper introduces R2D3, an agent that makes efficient use of demonstrations to solve hard exploration problems in partially observable environments with highly variable initial conditions. We also introduce a suite of eight tasks that combine these three properties, and show that R2D3 can solve several of the tasks where other state of the art methods (both with and without demonstrations) fail to see even a single successful trajectory after tens of billions of steps of exploration.

研究の動機と目的

• 初期状態が多様な部分的観測可能な環境における、報酬が疎で高次元の状態空間という課題に対処すること。
• 複雑で非マルコフ的状況における探索を効率的にガイドするため、専門家の示範を活用する手法の開発。
• 困難な探索、部分的観測性、初期状態の多様性を組み合わせた8つのタスクからなるベンチマークスイートの設計。
• 標準の強化学習エージェントがいかなる成功する軌道も発見できない環境において、示範がサンプルの複雑さを著しく低減できることの実証。

提案手法

• R2D3 は、示範された軌道を用いてスキル習得と長期間計画とを分離する階層的ポリシー・ネットワークを採用する。
• 記憶拡張アーキテクチャを用いて、過去の観測の潜在的表現を維持し、部分的観測性の効果的処理を可能にする。
• 模倣学習を通じて示範を活用し、状態空間の有望な領域への探索をガイドするポリシーを事前学習する。
• 段階的な学習戦略を適用し、タスクの難易度を徐々に増加させ、初期段階の学習を示範でブートストラップする。
• 内在的興味と好奇心駆動探索を組み込むが、初期の示範ガイドドポリシー学習後に適用することで、ランダムな探索を回避する。

実験結果

リサーチクエスチョン

• RQ1 初期状態の変動が著しい部分的観測可能な環境において、示範がサンプルの効率性を著しく向上させることができるか？
• RQ2 1つのエージェントアーキテクチャが、非マルコフ的状況において模倣学習と探索を効果的に統合できるか？
• RQ3 示範が、標準の強化学習手法が長時間学習後も完全に失敗する環境で、成功する軌道を発見可能にできるか？
• RQ4 示範の統合が、報酬が疎な環境における探索のスケーラビリティにどのように影響するか？

主な発見

• R2D3 は、数十亿ステップにわたる学習後も、最先端の手法が1つも成功する軌道を発見できない8つの新しいベンチマークタスクのうち7つを正常に解決した。
• 示範の使用により、ベースライン手法と比較して、成功に至るための環境との相互作用回数が複数桁減少した。
• R2D3 は多様な初期状態においても頑健な性能を示し、複数のランダムシードとタスク変種において一貫した学習を達成した。
• 示範が不完全またはノイズを含んでも、測定可能な性能向上が得られ、優れたサンプル効率性を示した。