[論文レビュー] Rank the Episodes: A Simple Approach for Exploration in Procedurally-Generated Environments

Daochen Zha, Wenye Ma+3 more|arXiv (Cornell University)|Jan 20, 2021

Reinforcement Learning in Robotics参考文献 87被引用数 13

ひとこと要約

本稿では、状態の再利用が稀な手続き的生成環境において、従来の内因的報酬手法が機能しない状況に対処するための新しいエピソードレベルの探索手法RAPIDを提案する。RAPIDは、カバレッジと長期的探索品質に基づいてエピソード全体をランク付けし、スコアの高いエピソードをランク付けバッファに保存して、模倣学習を用いてそれらの行動を再現する。この手法により、MiniGrid、MiniWorld、MuJoCoベンチマークにおいて、最先端の内因的報酬手法を上回る優れたサンプル効率と最終的パフォーマンスが達成される。

ABSTRACT

Exploration under sparse reward is a long-standing challenge of model-free reinforcement learning. The state-of-the-art methods address this challenge by introducing intrinsic rewards to encourage exploration in novel states or uncertain environment dynamics. Unfortunately, methods based on intrinsic rewards often fall short in procedurally-generated environments, where a different environment is generated in each episode so that the agent is not likely to visit the same state more than once. Motivated by how humans distinguish good exploration behaviors by looking into the entire episode, we introduce RAPID, a simple yet effective episode-level exploration method for procedurally-generated environments. RAPID regards each episode as a whole and gives an episodic exploration score from both per-episode and long-term views. Those highly scored episodes are treated as good exploration behaviors and are stored in a small ranking buffer. The agent then imitates the episodes in the buffer to reproduce the past good exploration behaviors. We demonstrate our method on several procedurally-generated MiniGrid environments, a first-person-view 3D Maze navigation task from MiniWorld, and several sparse MuJoCo tasks. The results show that RAPID significantly outperforms the state-of-the-art intrinsic reward strategies in terms of sample efficiency and final performance. The code is available at https://github.com/daochenzha/rapid

研究の動機と目的

• 状態の再利用が稀な手続き的生成環境におけるスパarsな報酬探索の課題に対処すること。
• 繰り返し状態への訪問に依存する状態レベルの内因的報酬（例：カウントベースやキュリオシティベース）の限界を克服すること。
• エピソードレベルの探索スコアが、良い探索行動を特定するより一般的で効果的な基準となるかどうかを調査すること。
• エージェントが過去の成功した探索エピソードから学び、それらを再現できる実用的な手法を開発すること。
• 本手法が連続的状態／行動空間および複雑な環境へ一般化可能かどうかを示すこと。

提案手法

• RAPIDは、エピソードごとに二重スコア評価を実施する：エピソードごとのカバレッジスコアと、状態訪問の多様性に基づく長期的探索スコア。
• スコアの高いエピソードはランク付けバッファに格納され、効果的な探索軌道の選別されたセットを維持する。
• エージェントは行動クラーニングを用いてランク付けバッファ内の軌道を模倣し、成功した探索パターンを再現する学習を行う。
• 外因的報酬に依存しないため、スパース報酬設定に適している。
• ランク付けバッファは段階的に更新され、新しいエピソードがスコア付けされ、上位のものだけが保持される。
• 本手法はモジュラーに設計されており、行動クラーニング以外のさまざまな模倣学習技術と組み合わせて使用可能である。

実験結果

リサーチクエスチョン

• RQ1 手続き的生成環境において、状態レベルの内因的報酬よりも、エピソードレベルの探索スコアがより頑健で一般的な基準として機能できるか？
• RQ2 ランク付けバッファからスコアの高いエピソードを模倣することは、スパース報酬・手続き的強化学習設定において、サンプル効率と最終的パフォーマンスの向上に寄与するか？
• RQ3 3DナビゲーションやMuJoCoタスクのような連続的状態・行動空間を持つ環境に対しても、RAPIDは一般化可能か？
• RQ4 RAPIDは、最先端の内因的報酬手法と比較して、学習速度と最終的パフォーマンスの両面で優れているか？
• RQ5 バッファサイズと選択戦略の影響は、手法の安定性とパフォーマンスにどのように及ぶか？

主な発見

• RAPIDは、MiniGrid や MiniWorld を含む複数の手続き的生成環境において、最先端の内因的報酬手法を大きく上回るサンプル効率を達成した。
• MiniWorld 3Dナビゲーションタスクでは、RAPIDはベースライン手法よりも高い最終的パフォーマンスとより速い学習曲線を達成した。
• スパースなMuJoCoタスクにおいても、外因的報酬がなくてもRAPIDは頑健なパフォーマンスを示し、強力な内因的探索能力を示した。
• アブレーションスタディの結果、ランク付けバッファ機構がパフォーマンスに不可欠であることが判明し、より大きなバッファは安定性を向上させるがサンプル効率に悪影響を及えることが分かった。
• 本手法は連続的制御タスクに対しても良好に一般化され、離散的環境にとどまらない適用可能性が確認された。
• 実験により、状態レベルの新奇性よりもエピソードレベルのスコアリングが、状態再利用が最小限の手続き的設定においてより効果的であることが確認された。