[論文レビュー] The MineRL 2019 Competition on Sample Efficient Reinforcement Learning using Human Priors

William H. Guss, Codel, Cayden+10 more|arXiv (Cornell University)|Apr 22, 2019

Reinforcement Learning in Robotics参考文献 35被引用数 47

ひとこと要約

本論文は MineRL コンペティションとデータセットを提案し、マインクラフト環境における人間のデモンストレーションを活用してサンプル効率の良い強化学習を推進する。主タスクは ObtainDiamond で、厳しいリソース制約下で一般化を評価するための保持アウト評価を備える。

ABSTRACT

Though deep reinforcement learning has led to breakthroughs in many difficult domains, these successes have required an ever-increasing number of samples. As state-of-the-art reinforcement learning (RL) systems require an exponentially increasing number of samples, their development is restricted to a continually shrinking segment of the AI community. Likewise, many of these systems cannot be applied to real-world problems, where environment samples are expensive. Resolution of these limitations requires new, sample-efficient methods. To facilitate research in this direction, we introduce the MineRL Competition on Sample Efficient Reinforcement Learning using Human Priors. The primary goal of the competition is to foster the development of algorithms which can efficiently leverage human demonstrations to drastically reduce the number of samples needed to solve complex, hierarchical, and sparse environments. To that end, we introduce: (1) the Minecraft ObtainDiamond task, a sequential decision making environment requiring long-term planning, hierarchical control, and efficient exploration methods; and (2) the MineRL-v0 dataset, a large-scale collection of over 60 million state-action pairs of human demonstrations that can be resimulated into embodied trajectories with arbitrary modifications to game state and visuals. Participants will compete to develop systems which solve the ObtainDiamond task with a limited number of samples from the environment simulator, Malmo. The competition is structured into two rounds in which competitors are provided several paired versions of the dataset and environment with different game textures. At the end of each round, competitors will submit containerized versions of their learning algorithms and they will then be trained/evaluated from scratch on a hold-out dataset-environment pair for a total of 4-days on a prespecified hardware platform.

研究の動機と目的

• 環境サンプル数を削減するために人間のデモンストレーションを活用するサンプル効率の高い RL 手法の開発を促進する。
• 挑戦的で階層的に構造化された環境として Minecraft ObtainDiamond タスクを導入する。
• 身体化エージェントに模倣学習を可能にするため、6000万を超える人間デモンストレーションを含む MineRL-v0 データセットを公開する。
• 固定された計算予算の下で公正なベンチマークを保証するため、保持付き評価を伴う2ラウンドの競技構造を提供する。

提案手法

• Minecraft における長期的な計画と探索を要する主要タスク ObtainDiamond を定義する。
• 豊富な注釈と階層的ラベルを持つ状態-行動軌跡の大規模な MineRL-v0 データセットを提供する。
• さまざまなテクスチャと照明でデモンストレーションをレンダリングし、環境間での堅牢な評価を可能にする。
• 参加者に基礎となる実装とオープンソースツール（Gym インターフェース、データローダ、Docker）を提供する。
• AICrowd のオーケストレーションと固定された計算環境を使用してサンプル効率評価を強制する。

実験結果

リサーチクエスチョン

• RQ1 模倣学習と人間の事前情報は、複雑で報酬が希少なタスクを解くのに必要な環境サンプル数を、模倣学習と人間の事前知識で劇的に減らすことができるか？
• RQ2 Minecraft のような階層的で身体化された領域において、強化学習手法は大規模な人間デモデータをどの程度うまく活用できるか？
• RQ3 固定された計算予算の下で、さまざまな環境テクスチャやビジュアルが訓練効率とポリシー性能に与える影響は何か？
• RQ4 ObtainDiamond において、基礎的な RL 手法は厳格なサンプル数と計算制約の下で人間のパフォーマンスとどのように比較されるか？

主な発見

Milestone	Reward	Milestone	Reward
1	32
2	32
3	4
4	64
5	128
6	256
7	1024

• 初期の結果は、人間データを活用する手法が環境全体でサンプル効率を改善することを示している。
• 人間は提示されたタスクでテストされたすべての RL 手法を上回り、ObtainDiamond および関連タスクにおける長期的なクレジット割り当ての難しさを浮き彫りにしている。
• Treechop、Navigate (Sparse)、他の環境は、RL のベースラインと人間の性能の間に大きなギャップを明らかにしている。
• 専門家デモンストレーションは、特に Navigate (Sparse) のような探索が難しい設定で、より少ないサンプルでより高い報酬を可能にする。
• 模倣ベースのベースライン（Behavioral Cloning、PreDQN）と事前学習済みバリアントは、非事前学習RL手法より潜在的な利得を示す。