[论文解读] MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge

Linxi Fan, Guanzhi Wang+8 more|arXiv (Cornell University)|Jun 17, 2022

Topic Modeling被引用 59

一句话总结

论文介绍 MineDojo，一种基于 Minecraft 的框架，结合开放式任务、一个大规模多模态知识库和学习到的奖励函数 MineCLIP，用于在没有手工密集奖励的情况下训练具有通用能力的具身代理。

ABSTRACT

Autonomous agents have made great strides in specialist domains like Atari games and Go. However, they typically learn tabula rasa in isolated environments with limited and manually conceived objectives, thus failing to generalize across a wide spectrum of tasks and capabilities. Inspired by how humans continually learn and adapt in the open world, we advocate a trinity of ingredients for building generalist agents: 1) an environment that supports a multitude of tasks and goals, 2) a large-scale database of multimodal knowledge, and 3) a flexible and scalable agent architecture. We introduce MineDojo, a new framework built on the popular Minecraft game that features a simulation suite with thousands of diverse open-ended tasks and an internet-scale knowledge base with Minecraft videos, tutorials, wiki pages, and forum discussions. Using MineDojo's data, we propose a novel agent learning algorithm that leverages large pre-trained video-language models as a learned reward function. Our agent is able to solve a variety of open-ended tasks specified in free-form language without any manually designed dense shaping reward. We open-source the simulation suite, knowledge bases, algorithm implementation, and pretrained models (https://minedojo.org) to promote research towards the goal of generally capable embodied agents.

研究动机与目标

• 提出一个建立在三大支柱之上的开放式、通用能力具身代理框架：多样化环境、互联网尺度的知识，以及可扩展的体系结构。
• 介绍 MineDojo 的基于 Minecraft 的仿真，具有数千个任务和一个自动化、众包知识库。
• 开发一种学习算法，利用大规模预训练的视频-语言模型作为学习奖励，以在无需手工密集塑形奖励的情况下训练代理。
• 证明基于 MineCLIP 的奖励在程序化任务上能与手工设计的奖励竞争，且在未见视图上具有鲁棒的零-shot 泛化。

提出的方法

• 提供一个统一的基于 Minecraft 的仿真器，在成千上万的任务中标准化的观测/行动空间。
• 构建两个任务集合：带有真实成功标准的编程任务，以及通过学习度量进行评估的创造任务。
• 从 730K+ YouTube Minecraft videos、6K+ Wiki pages 和 340K+ Reddit posts 构建一个互联网尺度的知识库，以支撑学习。
• 对 MineCLIP——一个视频-语言对比模型，在 16-frame 视频片段和字幕上进行预训练，以充当一个密集的、语言条件的奖励函数。
• 将 MineCLIP 奖励整合到基于 PPO 的 RL 流程中，并通过 Self-Imitation Learning 提高样本效率。
• 评估零-shot 与少-shot 泛化，并与手工设计的奖励和 CLIP 基线进行比较。）

实验结果

研究问题

• RQ1 是否可以训练出一个具身代理，通过来自互联网规模视频数据的语言条件奖励，在 Minecraft 的开放式任务上实现广泛的能力？
• RQ2 在程序化任务上，MineCLIP 是否提供与手工设计奖励相当或更优的指导？
• RQ3 用 MineCLIP 奖励训练的代理对未见地形、天气和任务的泛化能力有多好？
• RQ4 多任务训练（12 个任务）对单个任务的表现和迁移效应有何影响？
• RQ5 知识库和任务集合是否能扩展协作与开放式学习，以支撑具身代理？

主要发现

• MineCLIP 奖励在程序化任务上达到与人工密集奖励相当的性能，并优于 CLIP OpenAI 基线。
• 在 12 任务多组实验中，MineCLIP 引导的代理在若干任务上达到高成功率，并对视觉分布偏移具有鲁棒性。
• 对于 Creative 任务，MineCLIP 提供了自动评估指标，与人类判断的吻合度高（在所报道的子集中的 F1 分数接近人工准确度）。
• 在所有 12 个任务上训练的单一代理出现混合型迁移，与仅针对单独任务的代理相比，有些任务提升，有些下降。
• 零-shot 泛化测试表明，与基线相比，MineCLIP 增强的代理对未见地形和条件保持更强的鲁棒性。