[論文レビュー] MineRL: A Large-Scale Dataset of Minecraft Demonstrations

William H. Guss, Brandon Houghton+5 more|arXiv (Cornell University)|Jul 29, 2019

Reinforcement Learning in Robotics参考文献 11被引用数 6

ひとこと要約

MineRLは、Minecraftにおける人間のデモから自動的にアノテートされた6000万以上の状態行動ペアを含む大規模なシミュレータ対応データセットを提供し、サンプル効率の高い強化学習を可能にする。このデータセットは階層的構造を持つ多様なタスクをサポートしており、実験では、このデータを用いたアノテーション学習法が、特に報酬が疎な環境において、標準的なDRLベースラインを著しく上回ることが示された。

ABSTRACT

The sample inefficiency of standard deep reinforcement learning methods precludes their application to many real-world problems. Methods which leverage human demonstrations require fewer samples but have been researched less. As demonstrated in the computer vision and natural language processing communities, large-scale datasets have the capacity to facilitate research by serving as an experimental and benchmarking platform for new methods. However, existing datasets compatible with reinforcement learning simulators do not have sufficient scale, structure, and quality to enable the further development and evaluation of methods focused on using human examples. Therefore, we introduce a comprehensive, large-scale, simulator-paired dataset of human demonstrations: MineRL. The dataset consists of over 60 million automatically annotated state-action pairs across a variety of related tasks in Minecraft, a dynamic, 3D, open-world environment. We present a novel data collection scheme which allows for the ongoing introduction of new tasks and the gathering of complete state information suitable for a variety of methods. We demonstrate the hierarchality, diversity, and scale of the MineRL dataset. Further, we show the difficulty of the Minecraft domain along with the potential of MineRL in developing techniques to solve key research challenges within it.

研究の動機と目的

• 複雑で現実に近い環境における深層強化学習のサンプル非効率性を解消するため、人間のデモを大規模に収集したデータセットを構築すること。
• シミュレータ（Malmo）と互換性のあるベンチマークデータセットを提供し、アノテーション学習および階層的強化学習手法の訓練と評価を可能にすること。
• 多様なMinecraftタスクにわたる手続き的生成されたデモを通じて、豊富にアノテートされたデータを提供することで、サンプル効率の高い学習技術の開発を支援すること。
• 将来的なタスクやアノテーション拡張を可能にする、スケーラブルで拡張可能なプラットフォームを構築し、継続的なデータ収集を可能にすること。
• 構造的で大規模なデータセットを通じて、逆強化学習、生涯学習、階層的意思決定に関する研究を促進すること。

提案手法

• 著者らは、パブリックなMinecraftサーバー上でプレイヤーのパケットレベルのゲームデータを収集する新規なデータ収集プラットフォームを開発し、プレイヤーの視点と行動を完全に再構築可能にした。
• 各デモは、プレイシーケンスの手続き的分析を用いて、サブタスク完了状況、プレイヤーのスキルレベル、その他のメタデータが自動的にアノテートされた。
• データセットは、Minecraftにおける6つの異なるタスク（Treechop、Navigate（Sparse）、Navigate（Dense）など）を中心に構造化されており、それぞれが制御、ナビゲーション、計画の課題を表している。
• プラットフォームは、新しいタスクやアノテーションの動的追加をサポートしており、将来的な研究に向けた拡張性を確保している。
• データセットは http://minerl.io でホスティングされており、Malmo強化学習シミュレータと互換性があり、データ収集と同一環境での直接的な訓練・評価が可能である。
• 著者らは、このデータセットを用いて、行動クラッシフィケーション（BC）や事前学習済みDQN（PreDQN）などのアノテーション学習法を評価し、標準DQNおよびランダムエージェントと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 複雑でオープンワールドな環境における深層強化学習のサンプル効率性を向上させるために、人間デモのシミュレータ対応の大規模データセットは有効であるか？
• RQ2 3D・第一人称・オープンワールド環境（Minecraft）において、多様で階層的なタスクにアノテーション学習法を適用した場合、その有効性はいかほどか？
• RQ3 報酬が疎な環境（例：Navigate（Sparse））において、エキスパートデモはどの程度サンプル複雑性を低減できるか？
• RQ4 自動生成されたアノテーション（例：サブタスク完了、スキルレベル）は、階層的強化学習に向けた人間デモデータセットの有用性を向上させるか？
• RQ5 既存のデータセットと比較して、MineRLのスケールと多様性は、アノテーション学習および階層的RL分野における進展をどの程度促進するか？

主な発見

• Navigate（Dense）タスクにおいて、MineRLで微調整されたPreDQNは100エピソードで94.96 ± 13.42の報酬を達成し、標準DQN（4.16 ± 0.82）およびA2C（-0.97 ± 3.23）を著しく上回った。
• 報酬が疎なNavigate（Sparse）タスクにおいて、エキスパートデモを用いたエージェントはPreDQNで6.00 ± 4.65の報酬を達成したのに対し、標準DQNおよびA2Cは0.00 ± 0.00の報酬にとどまった。
• 行動クラッシフィケーション（BC）はNavigate（Sparse）で4.23 ± 4.15の報酬を達成し、高品質なデモで学習した場合、報酬が疎な環境でもアノテーション学習法が成功することが示された。
• 人間エキスパートはNavigate（Sparse）で最大報酬100.00 ± 0.00を達成し、ベンチマークタスクの質と難易度が確認された。
• データセットの階層的構造と豊富なアノテーションにより、特に長時間の計画およびナビゲーションタスクにおいて、より良い一般化とサンプル効率性が実現された。
• KITTI や Dex-Net といった既存のデータセットと比較して、MineRLはドメインの複雑さに比してスケールが大きく、シミュレータと唯一の互換性を持つため、直接的な訓練と評価が可能である。