[論文レビュー] JueWu-MC: Playing Minecraft with Sample-efficient Hierarchical Reinforcement Learning

Zichuan Lin, Junyou Li+4 more|arXiv (Cornell University)|Dec 7, 2021

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

JueWu-MC は、行動認識表現学習、判別器ベースの自己模倣学習、一貫性フィルタリングを施したアンサンブル行動クラーニングを組み合わせた、サンプル効率の良い階層的強化学習フレームワークを提案する。このフレームワークは、NeurIPS MineRL 2021 競争で最高のパフォーマンススコアを記録し、たった 250 万件のトレーニングサンプルで、すべてのベースラインを上回った。

ABSTRACT

Learning rational behaviors in open-world games like Minecraft remains to be challenging for Reinforcement Learning (RL) research due to the compound challenge of partial observability, high-dimensional visual perception and delayed reward. To address this, we propose JueWu-MC, a sample-efficient hierarchical RL approach equipped with representation learning and imitation learning to deal with perception and exploration. Specifically, our approach includes two levels of hierarchy, where the high-level controller learns a policy to control over options and the low-level workers learn to solve each sub-task. To boost the learning of sub-tasks, we propose a combination of techniques including 1) action-aware representation learning which captures underlying relations between action and representation, 2) discriminator-based self-imitation learning for efficient exploration, and 3) ensemble behavior cloning with consistency filtering for policy robustness. Extensive experiments show that JueWu-MC significantly improves sample efficiency and outperforms a set of baselines by a large margin. Notably, we won the championship of the NeurIPS MineRL 2021 research competition and achieved the highest performance score ever.

研究の動機と目的

• オープンワールドな Minecraft 環境における部分観測性、高次元の視覚的認識、遅延報酬といった複合的な課題に対処すること。
• 非構造化された人間のデモンストレーションを活用することで、長時間スケールの意思決定におけるサンプル効率を向上させること。
• 新しい表現学習および模倣学習技術を通じて、探索性とポリシーの頑健性を向上させること。
• デモンストレーションから自動的にサブゴールを抽出し、低レベルのワーカーを訓練することで、階層的意思決定を可能にすること。
• 最小限のトレーニングサンプルで、MineRL 2021 競争において最先端のパフォーマンスを達成すること。

提案手法

• 高レベルのコントローラーがオプションを管理し、低レベルのワーカーがサブタスクを実行する二段階の階層的強化学習フレームワーク。
• 行動認識表現学習 (A2RL) は、学習されたマスクネットワークを用いて、行動と視覚的表現の間の動的関係を捉える。
• 判別器ベースの自己模倣学習 (DSIL) は、過去の成功した行動を再現することで探索を促進し、高報酬状態分布に注目する。
• 一貫性フィルタリングを施したアンサンブル行動クラーニングは、複数のエキスパートデモンストレーションを活用し、ノイズの多い軌道をフィルタリングすることでポリシーの頑健性を向上させる。
• 高レベルのコントローラーは、非構造化された人間のデモンストレーションを用いて自動的にサブゴールを抽出し、それらを低レベルのワーカーに割り当てる。
• フレームワークは、模倣学習と表現学習を統合することで、複雑な 3D 環境におけるサンプル効率と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非構造化されたデモンストレーションから自動的にサブゴールを発見する階層的強化学習フレームワークは、長時間スケールの Minecraft タスクにおけるサンプル効率を向上させることができるか？
• RQ2 行動認識表現学習は、高次元の観測を持つ 3D 環境における視覚的理解と制御をどのように向上させるか？
• RQ3 標準的な自己模倣学習と比較して、判別器ベースの自己模倣学習は探索効率をどの程度向上させるか？
• RQ4 一貫性フィルタリングを施したアンサンブル行動クラーニングは、不完全な人間のデモンストレーションが存在する状況で、ポリシーの頑健性をどの程度向上させるか？
• RQ5 これらの技術を統合することで、エージェントは既存のベースラインを上回り、MineRL 2021 競争で優勝できるか？

主な発見

• JueWu-MC は NeurIPS MineRL 2021 競争で最高のパフォーマンススコアを記録し、たった 250 万件のトレーニングサンプルで新記録を樹立した。
• モデルは 250 万件のサンプルでのみ 100 のスコアに到達し、競争の 800 万件のサンプル制限よりもはるかに少ない。
• アブレーションスタディの結果、A2RL と EBC が DSIL よりもパフォーマンス向上に寄与しており、A2RL は学習パイプラインにおいてより早期かつ広範に影響を与えていた。
• サリエンシー地図の可視化により、A2RL マスクネットワークが視覚入力の動的で行動に関連する領域に的確に注目していることが確認され、解釈可能性と制御性が向上した。
• DSIL はよりコンactかつ的確な探索を可能にし、PPO や PPO+SIL と比較して、トレーニングの初期段階で高報酬状態分布に集中するようになった。
• フレームワークは、すべての先行ベースラインを上回るサンプル効率とタスクパフォーマンスを達成し、階層的計画と高度な表現・模倣学習の統合の有効性を示した。