[论文解读] EquiBot: SIM(3)-Equivariant Diffusion Policy for Generalizable and Data Efficient Learning

Jingyun Yang, Ziang Cao+4 more|arXiv (Cornell University)|Jul 1, 2024

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

EquiBot 提出了一种 SIM(3) 等变扩散策略，通过在神经架构中几何地实现对尺度、旋转和位移的不变性，显著提升了机器人操作任务中的数据效率和泛化能力。仅使用 5 分钟的人类示范数据进行训练，该方法在仿真和真实世界移动操作任务中均能稳健地泛化到未见过的物体、姿态和场景。

ABSTRACT

Building effective imitation learning methods that enable robots to learn from limited data and still generalize across diverse real-world environments is a long-standing problem in robot learning. We propose Equibot, a robust, data-efficient, and generalizable approach for robot manipulation task learning. Our approach combines SIM(3)-equivariant neural network architectures with diffusion models. This ensures that our learned policies are invariant to changes in scale, rotation, and translation, enhancing their applicability to unseen environments while retaining the benefits of diffusion-based policy learning such as multi-modality and robustness. We show on a suite of 6 simulation tasks that our proposed method reduces the data requirements and improves generalization to novel scenarios. In the real world, with 10 variations of 6 mobile manipulation tasks, we show that our method can easily generalize to novel objects and scenes after learning from just 5 minutes of human demonstrations in each task.

研究动机与目标

• 解决真实世界机器人操作中模仿学习存在的数据效率低下和泛化能力差的问题。
• 克服先前方法依赖数据增强或无法泛化到未见物体尺度、旋转和位移的局限性。
• 开发一种视觉-运动策略，使其在极少示范数据下仍能保持对多样化、分布外场景的鲁棒性能。
• 将等变性与扩散策略学习相结合，实现多模态、闭环动作生成，并提升样本效率。

提出的方法

• 设计一种 SIM(3) 等变神经网络架构，确保模型输出随输入变换（尺度、旋转、位移）一致地变换。
• 将等变架构集成到扩散策略框架中，以实现多模态、鲁棒的动作序列预测。
• 以单视角场景点云和机器人本体感知作为输入，通过 Grounded SAM 进行物体分割以实现场景解析。
• 使用人类示范视频端到端训练策略，通过几何变换进行数据增强以提升鲁棒性。
• 采用动作预测头，以 3 Hz 的频率输出 8 步动作序列，实现在移动操作器上的实时执行。
• 利用等变性隐式泛化到未见的物体尺度、朝向和位置，而无需显式的数据增强。

实验结果

研究问题

• RQ1 在扩散策略架构中引入 SIM(3) 等变性是否能显著提升机器人操作任务中的数据效率和零样本泛化能力？
• RQ2 等变性在多大程度上使模型能够泛化到训练分布之外的未见物体尺度、旋转和位移？
• RQ3 在真实世界部署中，等变性与扩散建模的结合相较于基线模仿学习方法和非等变扩散策略表现如何？
• RQ4 单一策略是否能在极少示范数据下泛化到多样化的家庭任务，包括涉及可变形和铰接式物体的任务？
• RQ5 强制实施等变性是否能带来更优的特征表示，使其泛化能力超越对称群归纳偏置的限制？

主要发现

• EquiBot 在仿真和真实世界设置中均达到最先进性能，优于基线扩散策略和先前的等变模仿学习方法。
• 在真实世界实验中，EquiBot 仅需 5 分钟人类示范数据，即可成功泛化到新物体和新场景布局。
• 该方法能泛化到分布外场景，包括未见的物体姿态、尺度和场景配置，成功率高于基线方法。
• 尽管未显式训练，模型对超出 SIM(3) 的几何变化（如非均匀缩放和物体动力学变化）仍表现出鲁棒性。
• SIM(3) 等变性与扩散建模的结合实现了多模态行为生成和空闲动作，提升了策略鲁棒性。
• 定量评估显示，在 6 项真实世界移动操作任务中（包括推动椅子、关闭行李箱和折叠毛巾）均表现出一致的成功率，且在多种测试条件下表现稳定。