[論文レビュー] The MineRL 2020 Competition on Sample Efficient Reinforcement Learning using Human Priors

William H. Guss, Castro, Mario Ynocente+13 more|arXiv (Cornell University)|Jan 26, 2021

Reinforcement Learning in Robotics被引用数 14

ひとこと要約

本論文は、人間の先行知識を活用して環境のサンプル要件を削減する、サンプル効率の良い強化学習チャレンジであるMineRL 2020コンペティションを提示する。参加者は、6000万件のトラジェクトリを含む大規模な人間のデモンストレーションデータセットを用いて、サンプル予算が厳しく制限された状況下で、階層的かつスパarsなMineRL ObtainDiamondタスクを解くエージェントを訓練した。2つのトラック—環境とのインタラクションを許可するものと許可しないもの—を設け、模倣学習および効率的な探索に関する研究を促進した。

ABSTRACT

Although deep reinforcement learning has led to breakthroughs in many difficult domains, these successes have required an ever-increasing number of samples, affording only a shrinking segment of the AI community access to their development. Resolution of these limitations requires new, sample-efficient methods. To facilitate research in this direction, we propose this second iteration of the MineRL Competition. The primary goal of the competition is to foster the development of algorithms which can efficiently leverage human demonstrations to drastically reduce the number of samples needed to solve complex, hierarchical, and sparse environments. To that end, participants compete under a limited environment sample-complexity budget to develop systems which solve the MineRL ObtainDiamond task in Minecraft, a sequential decision making environment requiring long-term planning, hierarchical control, and efficient exploration methods. The competition is structured into two rounds in which competitors are provided several paired versions of the dataset and environment with different game textures and shaders. At the end of each round, competitors submit containerized versions of their learning algorithms to the AIcrowd platform where they are trained from scratch on a hold-out dataset-environment pair for a total of 4-days on a pre-specified hardware platform. In this follow-up iteration to the NeurIPS 2019 MineRL Competition, we implement new features to expand the scale and reach of the competition. In response to the feedback of the previous participants, we introduce a second minor track focusing on solutions without access to environment interactions of any kind except during test-time. Further we aim to prompt domain agnostic submissions by implementing several novel competition mechanics including action-space randomization and desemantization of observations and actions.

研究の動機と目的

• 深層強化学習における高いサンプル複雑性が、アクセス性と実世界への適用性を制限するという問題に対処すること。
• 人間のデモンストレーションを活用することで、必要な環境との相互作用回数を削減し、サンプル効率の良い学習を実現すること。
• Minecraftのようなスパarsな環境における階層的で長時間にわたる意思決定に関する研究を促進すること。
• 計算リソース支援および旅行奨学金を提供することで、多様な参加者を支援し、強化学習研究における包摂性を高めること。
• 標準化された評価を備えたスケーラブルでオープンなコンペティションフレームワークを提供し、模倣学習および強化学習分野のベンチマークを前進させること。

提案手法

• Minecraftに基づく部分観測可能で報酬がスパarsかつ階層的な環境であるMineRL-v0環境を用い、複雑な意思決定タスクをシミュレートする。
• 6000万件を超える状態-行動ペアからなる大規模な人間デモンストレーションデータセットを提供し、変更されたゲーム状態やビジュアルを用いてエージェントのトラジェクトリに再シミュレート可能である。
• 異なるテクスチャーやシェーダーを用いたデータセット-環境のバリエーションを組み合わせた2ラウンドの構造を採用し、一般化性能をテストする。
• 提出物をコンテナ化し、標準化されたハードウェアプラットフォーム上で4日間、ホールドアウトされたデータセット-環境ペアから再訓練を実施する。
• 行動空間のランダム化および観測と行動の意味的解体化を実装し、学習済みポリシーのドメインおよびタスク一般化性能を向上させる。
• 訓練後のエージェント性能に基づき順位を決定し、再現性と公平性を確保するためAIcrowdプラットフォーム上で評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 人間のデモンストレーションは、複雑で階層的な環境におけるサンプル効率の良い強化学習エージェントを訓練するために、必要な環境サンプル数を顕著に削減できるか？
• RQ2 Minecraftでダイヤモンドを入手するようなスパars報酬・長時間にわたるタスクに、模倣学習および階層的模倣学習手法はどの程度効果的か？
• RQ3 人間のデモンストレーションに基づいて学習したポリシーは、異なる視覚的および環境的設定（例：テクスチャーやシェーダー）に対してどの程度一般化できるか？
• RQ4 訓練中に環境とのインタラクションを一切行わない状況でも、デモンストレーションと自己教師付き事前学習に依存して、強力な性能を達成できるか？
• RQ5 模倣学習と強化学習を組み合わせる最適な戦略は何か？— これは、現実世界に近い環境におけるサンプル効率の向上に寄与する。

主な発見

• コンペティションには1000人を超える登録参加者と660件を超える完全な提出物が寄せられ、サンプル効率の良い強化学習に対するコミュニティの関心と関与が顕著に表れた。
• 6000万件を超える人間のトラジェクトリを含むMineRL-v0データセットは、さまざまな視覚的および状態条件下でエージェント行動の高精度な再シミュレーションを可能にした。
• 前回のコンペティションで上位に入った提出物は、逆強化学習および階層的模倣学習分野における新規手法を導入し、サンプル効率の分野での顕著な進展を示した。
• コンテナ化された評価と標準化されたハードウェアを備えたコンペティションフレームワークは、提出物の再現性と公平性を確保した。
• 主催者団体は、マイノリティグループを支援するための計算リソース支援および旅行奨学金を提供し、強化学習研究における多様性とアクセス性を高めた。
• 2トラック構造（インタラクションあり／なし）により、ドメインに依存しない汎用性の高い強化学習アルゴリズムのイノベーションが促進された。