[論文レビュー] MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge

Linxi Fan, Guanzhi Wang+8 more|arXiv (Cornell University)|Jun 17, 2022

Topic Modeling被引用数 59

ひとこと要約

本論文では MineDojo を紹介する。Minecraft をベースとしたフレームワークで、オープンエンドなタスク、大規模なマルチモーダル知識ベース、そして学習報酬関数（MineCLIP）を組み合わせることで、手作業で密な報酬を設計することなく、一般的に能力のある具現化エージェントを訓練します。

ABSTRACT

Autonomous agents have made great strides in specialist domains like Atari games and Go. However, they typically learn tabula rasa in isolated environments with limited and manually conceived objectives, thus failing to generalize across a wide spectrum of tasks and capabilities. Inspired by how humans continually learn and adapt in the open world, we advocate a trinity of ingredients for building generalist agents: 1) an environment that supports a multitude of tasks and goals, 2) a large-scale database of multimodal knowledge, and 3) a flexible and scalable agent architecture. We introduce MineDojo, a new framework built on the popular Minecraft game that features a simulation suite with thousands of diverse open-ended tasks and an internet-scale knowledge base with Minecraft videos, tutorials, wiki pages, and forum discussions. Using MineDojo's data, we propose a novel agent learning algorithm that leverages large pre-trained video-language models as a learned reward function. Our agent is able to solve a variety of open-ended tasks specified in free-form language without any manually designed dense shaping reward. We open-source the simulation suite, knowledge bases, algorithm implementation, and pretrained models (https://minedojo.org) to promote research towards the goal of generally capable embodied agents.

研究の動機と目的

• 多様な環境、インターネット規模の知識、スケーラブルなアーキテクチャの3つの柱に基づく、オープンエンドで一般的に能力のある具現化エージェントのためのフレームワークを提案する。
• MineDojo の Minecraft ベースのシミュレーションを、何千ものタスクと自動化されたクラウドソースの知識ベースと共に紹介する。
• 大規模に事前学習されたビデオと言語モデルを報酬として活用し、手動の密な設計報酬を用いずにエージェントを訓練する学習アルゴリズムを開発する。
• MineCLIP ベースの報酬が、プログラム的タスクにおいて手動でエンジニアリングされた報酬と比べて競争力を持つこと、見られていないビジュアル上でのロバストなゼロショット一般化を実証する。

提案手法

• 千差万別のタスク群に対して標準化された観測/行動空間を備えた統一的な Minecraft ベースのシミュレータを提供する。
• ground-truth 成功基準を持つプログラム的タスクと、学習された指標で評価されるクリエイティブタスクの2つのタスク群を構築する。
• 学習を地に落とす基盤として 730K+ 本の YouTube Minecraft 動画、6K+ ページの Wiki、340K+ の Reddit 投稿からインターネット規模の知識ベースを構築する。
• 16 フレームのビデオクリップと文字起こしから、密な言語条件付き報酬関数として機能するビデオと言語の対比モデルである MineCLIP を事前訓練する。
• Self-Imitation Learning を用いた PPO ベースの RL パイプラインに MineCLIP 報酬を組み込み、サンプル効率を向上させる。
• ゼロショットおよび少数ショットの一般化を評価し、手動設計報酬および CLIP ベースの基準と比較する。

実験結果

リサーチクエスチョン

• RQ1 学習された言語条件付き報酬を用いて、インターネット規模のビデオデータから、オープンエンドな幅広い Minecraft タスクを実行する具現化エージェントを訓練できるか。
• RQ2 MineCLIP はプログラム的タスクにおいて、手動で設計された報酬と比較して競争力がある、または優れているか。
• RQ3 MineCLIP 報酬で訓練されたエージェントは、見られていない地形・天候・タスクにどれだけ良く一般化するか。
• RQ4 12 タスクのマルチタスク訓練が個々のタスクの性能と転移効果に与える影響はどの程度か。
• RQ5 知識ベースとタスク群は、具現化エージェントの協調とオープンエンド学習をどの程度拡張できるか。

主な発見

• MineCLIP 報酬は、プログラム的タスクにおいて手動の密報酬に対して競争力のある性能を達成し、CLIP OpenAI のベースラインを上回る。
• 12タスクのマルチグループ実験で、MineCLIP を用いたエージェントは複数のタスクで高い成功率を達成し、視覚的分布シフトに対して堅牢性を示す。
• クリエイティブタスクでは、MineCLIP は自動評価指標を提供し、人間の判断との高い一致度を示す（報告されたサブセットで F1 スコアは人間の精度近く）。
• 12 タスクすべてで訓練された単一エージェントは、タスク固有エージェントと比較して、一部のタスクで改善され、他は低下する混合的転移を示す。
• ゼロショット一般化テストでは、MineCLIP 増強エージェントが、ベースラインよりも見られていない地形や条件への堅牢性を維持する。