[论文解读] Intervention Design for Effective Sim2Real Transfer

Melissa Mozifian, Amy Zhang+2 more|arXiv (Cornell University)|Dec 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用 8

一句话总结

本文提出了基于干预的不变迁移（IBIT）方法，将领域随机化与数据增强作为因果干预手段，结合使用以提升强化学习中的模拟到现实（sim2real）迁移性能。通过强制对非因果视觉变化（如背景纹理或光照）保持不变，IBIT使智能体能够学习到鲁棒的、与任务相关的表征，在仅使用像素观测的情况下，实现了在7自由度Jaco机械臂上的零样本sim2real迁移。

ABSTRACT

The goal of this work is to address the recent success of domain randomization and data augmentation for the sim2real setting. We explain this success through the lens of causal inference, positioning domain randomization and data augmentation as interventions on the environment which encourage invariance to irrelevant features. Such interventions include visual perturbations that have no effect on reward and dynamics. This encourages the learning algorithm to be robust to these types of variations and learn to attend to the true causal mechanisms for solving the task. This connection leads to two key findings: (1) perturbations to the environment do not have to be realistic, but merely show variation along dimensions that also vary in the real world, and (2) use of an explicit invariance-inducing objective improves generalization in sim2sim and sim2real transfer settings over just data augmentation or domain randomization alone. We demonstrate the capability of our method by performing zero-shot transfer of a robot arm reach task on a 7DoF Jaco arm learning from pixel observations.

研究动机与目标

• 通过因果推断的视角理解领域随机化与数据增强为何在sim2real迁移中有效。
• 解决在训练过程中扰动无关或过度敏感环境因素所带来的负迁移风险。
• 通过显式引入不变性目标以消除虚假相关性，提升sim2sim和sim2real设置下的泛化能力。
• 在仅使用像素观测的情况下，展示在真实世界机器人操作任务中实现零样本sim2real迁移。
• 证明并非必须使用逼真的扰动——仅需在现实世界中也发生变化的维度上引入变化即可。

提出的方法

• 将环境建模为具有潜在状态空间的结构化马尔可夫决策过程（MDP），并通过随机发射函数 $ q $ 映射到观测空间。
• 将数据增强与领域随机化视为对观测映射 $ q $ 的干预，特别针对渲染和后渲染组件。
• 提出IBIT，一种多任务学习框架，将领域随机化与视觉扰动上的不变性目标相结合。
• 使用基于梯度的不变性惩罚，以促使Q函数在相同状态的不同扰动下保持稳定。
• 对观测空间应用标准图像变换（如随机位移、色彩抖动）作为干预，以模拟现实世界中的视觉变化。
• 采用对比学习风格的不变性目标，鼓励同一图像的不同增强视图获得相似的Q值，从而提升对非因果特征的鲁棒性。

实验结果

研究问题

• RQ1 哪些类型的环境扰动能带来正向的sim2real迁移？它们为何有效？
• RQ2 能否在因果推断框架下正式理解领域随机化与数据增强作为干预手段？
• RQ3 显式强制对非因果视觉变化保持不变，是否能超越标准数据增强或领域随机化，提升泛化能力？
• RQ4 扰动是否必须在物理上逼真？还是仅在现实世界中也变化的维度上变化就足够？
• RQ5 是否可以仅用像素观测，在仿真环境中训练一个单一策略，并实现零样本迁移到真实世界机器人操作任务？

主要发现

• 领域随机化与数据增强之所以有效，是因为它们作为干预手段，促使对非因果视觉特征保持不变，而非因为其模拟了现实。
• 扰动无需在物理上逼真——只要其变化维度在真实世界中也存在变化即可。
• 所提出的IBIT方法结合了领域随机化与显式不变性目标，在sim2sim与sim2real迁移中均优于标准数据增强与仅使用领域随机化的方法。
• 该方法在仅使用像素观测的情况下，实现了7自由度Jaco机械臂的零样本sim2real迁移，据作者所知，这是首次使用最先进的基于像素的深度强化学习方法实现此类演示。
• 不变性目标减少了对视觉特征中虚假相关性的依赖，使智能体能够专注于与任务相关的动力学与奖励结构。
• 实证结果表明，不变性目标提升了鲁棒性与泛化能力，即使扰动作用于背景纹理等非关键视觉组件时亦然。