[論文レビュー] MineRL Diamond 2021 Competition: Overview, Results, and Lessons Learned

Anssi Kanervisto, Stephanie Milani+20 more|arXiv (Cornell University)|Feb 17, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文は、サンプル効率的で一般化可能な強化学習を焦点にした研究トラックを維持しつつ、参加のハードルを下げるために「イントロトラック」を導入したMineRL Diamond 2021コンペティションを提示している。コンペティションは参加者数の増加と性能の向上を達成し、上位のエージェントは計算リソースとサンプルの制限のもとで階層的・模倣学習を活用することで、先行研究を大きく上回った結果を達成した。

ABSTRACT

Reinforcement learning competitions advance the field by providing appropriate scope and support to develop solutions toward a specific problem. To promote the development of more broadly applicable methods, organizers need to enforce the use of general techniques, the use of sample-efficient methods, and the reproducibility of the results. While beneficial for the research community, these restrictions come at a cost -- increased difficulty. If the barrier for entry is too high, many potential participants are demoralized. With this in mind, we hosted the third edition of the MineRL ObtainDiamond competition, MineRL Diamond 2021, with a separate track in which we permitted any solution to promote the participation of newcomers. With this track and more extensive tutorials and support, we saw an increased number of submissions. The participants of this easier track were able to obtain a diamond, and the participants of the harder track progressed the generalizable solutions in the same task.

研究の動機と目的

• 複雑で長時間にわたるタスク環境における、サンプル効率的で一般化可能な深層強化学習（DRL）および模倣学習手法の開発を促進すること。
• ハードコードやトレーニング時間、アルゴリズム的手法に制限のない「イントロトラック」を導入することで、初心者への参加障壁を低減すること。
• 環境との相互作用回数（800万ステップ）と再トレーニングを評価サーバーで実施することにより、再現性と公平性を高めること。
• チュートリアル、Colabノートブック、オフィスアワー、ワークショップを通じてコミュニティ参加を促進すること。
• 3年間にわたるMineRLチャレンジのパフォーマンスを比較することでDRLの進展をベンチマークし、一般化性と効率性に重点を置くこと。

提案手法

• 研究トラック（サンプル効率性、ハードコード不可）と制限のないイントロトラックの二段階形式のコンペティションを実装。
• トレーニングを800万回の環境相互作用（約450回分のフルエピソードに相当）に制限し、再現性を確保するために評価サーバーで再トレーニングを義務づけた。
• 64×64ピクセルの観測とインVENTORY状態を備えたMineRL環境を用い、ダイヤモンドを手に入れるまでのクラフト階層における各アイテムに対するスパarsな報酬を与えた。
• スパース報酬と長時間にわたる意思決定の課題に対処するために、研究トラックで階層的および模倣学習技術の活用を奨励した。
• チュートリアル、Colabノートブック、ライブオフィスアワーを通じてコミュニティ支援を提供し、エージェントのトレーニングを支援した。
• 固定された乱数シードとエピソード制限（18,000ステップ）を用いた標準化されたサーバーでエージェントを評価し、提出物間の公平な比較を実現した。

実験結果

リサーチクエスチョン

• RQ1 制限なしの「イントロトラック」を導入することで、DRLコンペティションにおける参加者数とパフォーマンスにどのような影響を与えるか？
• RQ2 サンプル効率的で一般化可能なDRLエージェントは、Minecraftにおけるダイヤモンドを手に入れるという長時間にわたるスパース報酬タスクをどの程度解けるか？
• RQ3 階層的および模倣学習技術は、研究トラックにおけるサンプル効率性とパフォーマンスの向上にどのような役割を果たすか？
• RQ4 計算リソースとハイパーパramータの感受性は、複雑な環境におけるDRLエージェントの再現性と一般化性にどのように影響するか？
• RQ5 アクセシビリティと技術的厳密性のバランスを取ったコンペティション形式は、エージェントのパフォーマンス向上とコミュニティ参加の向上に実質的な効果をもたらすか？

主な発見

• 「イントロトラック」の導入により、提出数と参加者のアクティブ数が著しく増加し、参加のハードルを下げることがコミュニティ参加を促進することを示した。
• 研究トラックの上位エージェントは、10%未満のエピソードでダイヤモンドを獲得するに至り、前回の最高記録を大きく上回った。
• 研究トラックのエージェントは、木のピックアックスのクラフトにスパース報酬のためのサンプル効率性に深刻なブottleneckを示し、階層的学習の導入にもかかわらず依然として課題を抱えていた。
• イントロトラックのエージェントは、作られたアクションと長時間のトレーニングを活用して成功を収めたことから、ハードコードが許可される場合、サンプル効率性とパフォーマンスのトレードオフが顕著に現れた。
• コンペティションの厳しい計算リソースと評価制限は、より再現可能で一般化可能な結果を生み出し、DRL手法の転送性を高めるという目的を支持した。
• 結果から、ハイパーパramータチューニングと環境設計の重要性が浮き彫りになった。観測や報酬形状のわずかな変更ですら学習に顕著な影響を与えた。