[论文解读] CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning

Ossama Ahmed, Frederik Träuble+6 more|arXiv (Cornell University)|Oct 8, 2020

Reinforcement Learning in Robotics参考文献 42被引用 31

一句话总结

CausalWorld 引入了一个参数化的机器人操作基准，能够对环境变量进行干预，以研究强化学习中的因果结构学习与迁移，并通过 TriFinger 平台实现 curricula 与仿真到现实的转移。

ABSTRACT

Despite recent successes of reinforcement learning (RL), it remains a challenge for agents to transfer learned skills to related environments. To facilitate research addressing this problem, we propose CausalWorld, a benchmark for causal structure and transfer learning in a robotic manipulation environment. The environment is a simulation of an open-source robotic platform, hence offering the possibility of sim-to-real transfer. Tasks consist of constructing 3D shapes from a given set of blocks - inspired by how children learn to build complex structures. The key strength of CausalWorld is that it provides a combinatorial family of such tasks with common causal structure and underlying factors (including, e.g., robot and object masses, colors, sizes). The user (or the agent) may intervene on all causal variables, which allows for fine-grained control over how similar different tasks (or task distributions) are. One can thus easily define training and evaluation distributions of a desired difficulty level, targeting a specific form of generalization (e.g., only changes in appearance or object mass). Further, this common parametrization facilitates defining curricula by interpolating between an initial and a target task. While users may define their own task distributions, we present eight meaningful distributions as concrete benchmarks, ranging from simple to very challenging, all of which require long-horizon planning as well as precise low-level motor control. Finally, we provide baseline results for a subset of these tasks on distinct training curricula and corresponding evaluation protocols, verifying the feasibility of the tasks in this benchmark.

研究动机与目标

• 通过一个可控的因果环境，激发并推动对强化学习中的分布外泛化的研究。
• 提供一组规模大、参数化的机器人操作任务，具有共用的因果结构。
• 允许对环境参数进行干预，以研究不同的泛化维度和课程设置。
• 提供统一的成功度量和评估协议，以在各任务之间比较学习算法。

提出的方法

• 定义一组参数化的任务族，使用块状3D形状来构建目标结构。
• 暴露大量因果变量（例如质量、颜色、形状、重力）并允许对它们进行 do-干预。
• 支持多种观测模式（结构化低维和基于像素的）以及 TriFinger 机器人的各种动作空间。
• 引入训练和评估空间（ATS 和 ES），以实现课程设置和分布外评估。
• 提供任务生成器（例如 Push、Picking、Pick and Place、Stacking2、Towers 等）以实现多样化目标。
• 在不同的课程和评估协议下，对基线模型无关 RL 方法（PPO、SAC、TD3）进行基准测试。

实验结果

研究问题

• RQ1 在训练期间改变环境因果变量如何影响对未见任务的迁移？
• RQ2 统一的成功度量和基于课程的干预是否能够区分机器人操作中的分布内与分布外泛化？
• RQ3 在各种课程下，当前模型无关 RL 方法在复杂的多目标形状任务上的局限性是什么？
• RQ4 在将策略迁移到真实 TriFinger 平台时，仿真到现实的考虑因素如何影响学习？

主要发现

• 在充分训练下，模型无关 RL 方法能够解决简单的单块任务，但在多块堆叠任务上表现欠佳。
• 对目标形状或环境参数进行随机化的课程显著影响泛化性能，极端随机化会妨碍学习。
• 在对目标形状进行随机化的情况下，对新初始姿态有一定的泛化，但极端域随机化会阻碍学习。
• 像 CausalWorld 这样的统一、参数化基准能够在不同维度（例如质量、摩擦、颜色）上明确评估分布内与分布外泛化。
• 基线结果验证了任务的可行性，并强调在复杂的多物体操作中需要归纳偏置或结构化方法。