[論文レビュー] Retrospective Analysis of the 2019 MineRL Competition on Sample Efficient Reinforcement Learning

Stephanie Milani, Nicholay Topin+6 more|arXiv (Cornell University)|Mar 10, 2020

Reinforcement Learning in Robotics参考文献 35被引用数 8

ひとこと要約

本論文は、複雑で階層的な環境であるマインクラフトにおいて、人間のデモを用いてサンプル効率の良い強化学習（RL）アルゴリズムを開発することを挑戦とした2019年MineRLコンペティションのリトロスペクティブ分析を提示する。このコンペティションは、アクセス可能で一般化可能なRL手法の促進に成功し、上位のソリューションは模倣学習と階層的RLを活用して、厳格な計算リソースとサンプル制約下でも優れたパフォーマンスを達成した。

ABSTRACT

To facilitate research in the direction of sample efficient reinforcement learning, we held the MineRL Competition on Sample Efficient Reinforcement Learning Using Human Priors at the Thirty-third Conference on Neural Information Processing Systems (NeurIPS 2019). The primary goal of this competition was to promote the development of algorithms that use human demonstrations alongside reinforcement learning to reduce the number of samples needed to solve complex, hierarchical, and sparse environments. We describe the competition, outlining the primary challenge, the competition design, and the resources that we provided to the participants. We provide an overview of the top solutions, each of which use deep reinforcement learning and/or imitation learning. We also discuss the impact of our organizational decisions on the competition and future directions for improvement.

研究の動機と目的

• 環境のサンプル数と計算リソースの要件を削減するために、人間のデモを活用するサンプル効率の良い強化学習（RL）アルゴリズムの開発を促進すること。
• マインクラフトのゲームワールドを用いて、長時間スパンの計画やスパarsely報酬といった現実世界の制御課題を反映するベンチマーク環境を構築すること。
• 標準化されたツール、人間のデモデータ、および計算リソース制限を設けた公平な評価フレームワークを提供することで、高度なRL研究のアクセス性を高めること。
• 評価手法、ルールの明確さ、リソース提供といったコンペティション設計の選択が、参加者のパフォーマンスと関与度に与える影響を評価すること。
• 上位パフォーマンスを示したソリューションに共通する高水準のアルゴリズム的パターンを同定し、今後のコンペティションの改善に役立てること。

提案手法

• 参加者は、Malmoプラットフォームに基づくカスタムGym環境でエージェントを訓練した。観察は64x64ピクセルの視覚的状態と離散的アイテムインventry状態を含む。
• タスクはマインクラフトでダイヤモンドを手に入れるもので、長時間スパンの計画と複雑なスキル習得を要する、階層的かつスパース報酬の環境である。
• 2ラウンド制のコンペティション形式を採用した。第1ラウンドではサンプル予算を設け、広範な参加を許可した。第2ラウンドでは上位チームが選抜され、厳格な計算リソースと時間制約のもとで再訓練が行われた。
• 各チームは標準化されたDockerコンテナにエージェントを提出し、再現可能性を確保するとともに、共通のハードウェアプラットフォーム上で評価を簡素化した。
• 参加者には、アルゴリズム開発を加速するために大規模な人間デモトラジェクトリーデータセットとベースラインモデルが提供された。
• 評価には、一般化性とルール準拠を確保するための新しい視覚的ドメインランダマイゼーション技術が用いられ、同時にアクション空間にランダムな双対写像（bijective mapping）を適用して意味論への過剰適合を防いだ。

実験結果

リサーチクエスチョン

• RQ1 模倣学習と人間の事前知識は、階層的かつスパース報酬の環境における深層強化学習のサンプル複雑性をどれほど低減できるか？
• RQ2 評価手法、計算リソース制限、ルールの明確さといったコンペティション設計の選択が、提出されたソリューションの多様性と質に与える影響はいかほどか？
• RQ3 階層的強化学習と構造化されたアクション空間は、複雑な環境におけるサンプル効率性と一般化性能をどの程度向上させるか？
• RQ4 標準化されたベースラインと共有された計算リソースは、多様な研究背景を持つ参加者のアクセス性とパフォーマンスにどのような影響を与えるか？
• RQ5 厳格な計算制約下でのサンプル効率の良いRLに成功する鍵となる主なアルゴリズム的パターンとアーキテクチャ的選択は何か？

主な発見

• どのチームもコンペティション中にダイヤモンドを獲得できなかったことから、タスクは依然として極めて難易度が高く、サンプル効率性は重要な未解決問題のままであることが示された。
• 上位のソリューションは、一貫して人間のデモと階層的RLを活用しており、多くのチームが模倣学習と深層強化学習を組み合わせてサンプル効率を向上させた。
• 標準化されたDockerコンテナと共有評価システムの使用により、提出処理が著しく簡素化され、すべての提出物の再現性が確保された。
• 参加者たちはアクション空間設計におけるインダクティブバイアスを広く活用しており、サンプル制約下でのパフォーマンスにおいてアーキテクチャ的選択が極めて重要な役割を果たしていることが示された。
• Azureクレームで1チームあたり1500ドルの計算予算が提供されたが、これはトレーニングと検証に十分であり、一部のチームはコンペティション終了後も計算リソースを残していた。
• 今後のコンペティションでは、アクション空間から意味的ラベルを削除し、評価時にランダムな双対写像を適用することで、一般化性能の向上と過剰適合の低減を図る予定である。