[論文レビュー] Skill Reinforcement Learning and Planning for Open-World Long-Horizon Tasks

Haoqi Yuan, Chi Zhang+5 more|arXiv (Cornell University)|Mar 29, 2023

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

Plan4MC は 内在報酬で細粒度スキルを学習し、LLM を用いてスキルグラフを構築し、DFS ベースのスキルプランナーを用いてデモなしで 40 の多様な Minecraft タスクを解決し、強いサンプル効率を達成する。

ABSTRACT

We study building multi-task agents in open-world environments. Without human demonstrations, learning to accomplish long-horizon tasks in a large open-world environment with reinforcement learning (RL) is extremely inefficient. To tackle this challenge, we convert the multi-task learning problem into learning basic skills and planning over the skills. Using the popular open-world game Minecraft as the testbed, we propose three types of fine-grained basic skills, and use RL with intrinsic rewards to acquire skills. A novel Finding-skill that performs exploration to find diverse items provides better initialization for other skills, improving the sample efficiency for skill learning. In skill planning, we leverage the prior knowledge in Large Language Models to find the relationships between skills and build a skill graph. When the agent is solving a task, our skill search algorithm walks on the skill graph and generates the proper skill plans for the agent. In experiments, our method accomplishes 40 diverse Minecraft tasks, where many tasks require sequentially executing for more than 10 skills. Our method outperforms baselines by a large margin and is the most sample-efficient demonstration-free RL method to solve Minecraft Tech Tree tasks. The project's website and code can be found at https://sites.google.com/view/plan4mc.

研究の動機と目的

• 人間のデモンストレーションなしに、オープンワールド環境でマルチタスクエージェントを構築する動機づけ。
• 長い時間軸のタスクを細粒度の基本スキル（Finding、Manipulation、Crafting）の連続列に分解する。
• 内在報酬を活用してスキルを訓練し、探索と初期化を改善する新規の Finding-skill を導入する。
• LLM由来のスキルグラフとDFSベースのプランナーを用いて、タスクの実行可能なスキル列を生成する。

提案手法

• 細粒度の Minecraft スキルを3種類定義する: Finding-skills、Manipulation-skills、Crafting-skills。
• 内在報酬を用いたRLで基本スキルを訓練する; 他のスキルの初期化を改善するための探索用階層的Finding-skillを導入する。
• スキルの関係と前提条件を説明するようLLMに促してスキルグラフを構築する; グラフ上でDFSベースのプランニングを行い、実行可能なスキル列を生成する。
• 計画されたスキルを反復的に実行し、在庫を更新して次の手順を計画するスキル探索アルゴリズムを開発する。
• MineDojo の40タスクにおいて、ベースライン（MineAgent、Find-skillなしのPlan4MC、インタラクティブLLMプランニング、zero-shotおよびhalf-steps変種）とPlan4MCを比較する。
• Plan4MC がよりサンプル効率が高く、長期タスクでより高い成功率を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 RL は大規模なオープンワールド環境でデモなしに細粒度の基本スキルを学習できるか？
• RQ2 Finding-skill の導入はサンプル効率と長期の Minecraft タスク全体の成功に寄与するか？
• RQ3 LLM生成のスキルグラフとDFSベースのプランナーの組み合わせは、オープンワールドタスクを効果的に分解・解決できるか？

主な発見

Task Set	MineAgent	Plan4MC w/o Find-skill	Interactive LLM	Plan4MC Zero-shot	Plan4MC 1/2-steps	Plan4MC
Cut-Trees	0.003	0.187	0.260	0.183	0.337	0.417
Mine-Stones	0.026	0.097	0.067	0.000	0.163	0.293
Mine-Ores	0.000	0.243	0.030	0.000	0.143	0.267
Interact-Mobs	0.171	0.170	0.247	0.133	0.277	0.320

• Plan4MC は 40 の多様な Minecraft タスクを達成し、各タスクにはしばしば 2–30 の基本スキルを必要とする。
• Plan4MC は4つのタスクセット全体でベースラインを上回り、デモなしRL手法の中でもサンプル効率が高い。
• Finding-skill を含めると、Finding-skill なしの Plan4MC と比較して成功率が有意に向上する。
• LLM ベースのスキルグラフとスキル探索アルゴリズムは、ナイーブな LLM のみのプランニングよりも計画ミスが少なく、堅牢で実行可能な計画を提供する。
• インタラクティブLLMプランニングは簡単なタスクでPlan4MCと同等だが、長期タスクでは計画エラーのために劣る。
• Plan4MC は Minecraft Tech Tree 内で鉄のつるはしの作成で高い性能を示す。