[论文解读] Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning

Tianhe Yu, Deirdre Quillen+8 more|arXiv (Cornell University)|Oct 24, 2019

Reinforcement Learning in Robotics参考文献 58被引用 282

一句话总结

本文介绍了 Meta-World，这是一个开源基准，包含50个多样化的机器人操作任务，用于评估多任务强化学习和元强化学习，并给出当前方法的经验比较，突出跨任务集合的泛化挑战。

ABSTRACT

Meta-reinforcement learning algorithms can enable robots to acquire new skills much more quickly, by leveraging prior experience to learn how to learn. However, much of the current research on meta-reinforcement learning focuses on task distributions that are very narrow. For example, a commonly used meta-reinforcement learning benchmark uses different running velocities for a simulated robot as different tasks. When policies are meta-trained on such narrow task distributions, they cannot possibly generalize to more quickly acquire entirely new tasks. Therefore, if the aim of these methods is to enable faster acquisition of entirely new behaviors, we must evaluate them on task distributions that are sufficiently broad to enable generalization to new behaviors. In this paper, we propose an open-source simulated benchmark for meta-reinforcement learning and multi-task learning consisting of 50 distinct robotic manipulation tasks. Our aim is to make it possible to develop algorithms that generalize to accelerate the acquisition of entirely new, held-out tasks. We evaluate 7 state-of-the-art meta-reinforcement learning and multi-task learning algorithms on these tasks. Surprisingly, while each task and its variations (e.g., with different object positions) can be learned with reasonable success, these algorithms struggle to learn with multiple tasks at the same time, even with as few as ten distinct training tasks. Our analysis and open-source environments pave the way for future research in multi-task learning and meta-learning that can enable meaningful generalization, thereby unlocking the full potential of these methods.

研究动机与目标

• 在元强化学习和多任务强化学习中，推动需要对显著不同任务的泛化能力进行基准测试的需求。
• 提出 Meta-World，一个具有共享结构、便于高效学习的50任务操控套件。
• 提供评估协议和基线，用于评估方法在新、保留任务上的转移能力。
• 揭示当前方法在跨许多任务学习和对新任务泛化方面的不足之处。

提出的方法

• 在共用的 Sawyer 机器人环境中定义50个操控任务的广义分布。
• 提供统一的行动空间（端执行器增量和夹爪力矩）以及固定的39维观测向量。
• 设计结构良好、具备多组件的奖励函数，并在各任务之间保持一致的结构，以支持学习和迁移。
• 通过参数化（对象/目标位置）和非参数化区别来实现任务变异，以最大化泛化潜力。
• 建立面向元强化学习和多任务强化学习的评估协议，难度从 ML1、MT1、MT10、MT50、ML10、ML45 不等。
• 在 Meta-World 上对多任务强化学习（PPO、TRPO、SAC、Task Embeddings）和元强化学习（RL2、MAML、PEARL）等多种算法进行基准与比较。

实验结果

研究问题

• RQ1 在广泛、结构化的任务分布上训练后，最先进的元强化学习算法是否能够迅速适应全新任务？
• RQ2 多任务强化学习方法在许多相关任务上学习一套策略的能力如何，随着任务/环境数量的增加，性能如何提升或下降？
• RQ3 在多样化的操作任务上，代表性的元强化学习和多任务强化学习算法的相对优点和局限性是什么？
• RQ4 当前方法在 Meta-World 的元训练任务向保留测试任务的泛化程度有多大？
• RQ5 需要哪些基准和评估协议来引导未来在机器人领域实现真正可泛化的元学习发展？

主要发现

• 当前的元强化学习方法在对新任务进行明确的泛化方面存在局限，即使在多样化的任务集合上进行元训练。
• 在 MT1/MT10/MT50 设置中，多任务 SAC 达到最高的 MT10 表现，但扩展到 MT50 时遇到困难。
• 元强化学习方法 MAML 和 RL2 展现出一定的元训练与泛化能力，而 PEARL 在多数设置上表现较弱。
• 在 ML10 和 ML45 之间，元训练表现很强，但元测试（泛化）表现仍然适中，表明优化和泛化之间存在差距。
• 该基准揭示了在元强化学习与多任务强化学习中实现广泛任务泛化的算法改进空间巨大。