Skip to main content
QUICK REVIEW

[论文解读] Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation

M.H Shridhar, Lucas Manuelli|arXiv (Cornell University)|Sep 12, 2022
Multimodal Machine Learning ApplicationsComputer Science被引用 48
一句话总结

PerAct 使用带语言条件的 Perceiver Transformer 从体素化的三维观测学习 6-DoF 操作,实现一个单一的多任务行为克隆代理,在 18 个模拟 RLBench 任务和 7 个真实世界任务上进行有限示例的训练。

ABSTRACT

Transformers have revolutionized vision and natural language processing with their ability to scale with large datasets. But in robotic manipulation, data is both limited and expensive. Can manipulation still benefit from Transformers with the right problem formulation? We investigate this question with PerAct, a language-conditioned behavior-cloning agent for multi-task 6-DoF manipulation. PerAct encodes language goals and RGB-D voxel observations with a Perceiver Transformer, and outputs discretized actions by ``detecting the next best voxel action''. Unlike frameworks that operate on 2D images, the voxelized 3D observation and action space provides a strong structural prior for efficiently learning 6-DoF actions. With this formulation, we train a single multi-task Transformer for 18 RLBench tasks (with 249 variations) and 7 real-world tasks (with 18 variations) from just a few demonstrations per task. Our results show that PerAct significantly outperforms unstructured image-to-action agents and 3D ConvNet baselines for a wide range of tabletop tasks.

研究动机与目标

  • 推动在数据昂贵且有限的场景下,利用 Transformers 进行机器人操控的数据高效使用。
  • 提出一个基于体素、以动作为中心的表述,利用语言锚定来对行为克隆进行条件化。
  • 开发 PerAct,一种基于 Perceiver Transformer 的代理,从 RGB-D 体素观测和语言目标中预测离散化的 6-DoF 动作。
  • 在广泛的仿真任务(RLBench)和真实世界任务上评估该方法,以展示数据效率以及在任务和变异上的泛化能力。

提出的方法

  • 使用预训练语言模型(CLIP)对语言目标进行编码,并与 RGB-D 体素补丁编码融合。
  • 将观测和动作表示为三维体素网格,以利用三维结构进行 6-DoF 操作。
  • 将体素观测分割为 3D 补丁,并通过带潜在向量集合的 Perceiver Transformer 处理以应对高维输入。
  • 将离散化的平移、旋转、夹具张开和避碰动作预测为一个最近最优动作分类器。
  • 通过观察-行动循环中的运动规划器执行动作,重复预测下一个动作直到任务完成。
  • 使用从演示中提取的关键帧动作进行监督学习来训练 PerAct,对每个动作分量使用交叉熵损失。

实验结果

研究问题

  • RQ1基于 Transformer 的代理能否在体素化观测和语言目标下,学习数据高效的多任务 6-DoF 操作?
  • RQ2全局感受野的 Transformer(Perceiver)是否优于局部感受野的 3D CNN 基线在操控任务上的性能?
  • RQ3所提出的带语言条件的体素为基础的行为克隆方法在真实机器人硬件上在演示有限的情况下是否可行?

主要发现

  • PerAct 在 18 个 RLBench 任务(仿真)和 7 个真实世界任务中,显著优于基于图像到动作的基线和 3D-ConvNet 基线,且演示数量相对较少。
  • 基于体素、以动作为中心的表述结合 Perceiver Transformer,通过利用全局感受野和多视图融合,产生稳健的 6-DoF 动作预测。
  • 语言条件是关键;移除语言条件将使性能降至接近随机水平。
  • 消融研究表明,Perceiver 骨干网和精心选择的关键帧对良好性能至关重要;天真或固定的关键帧会削弱结果。
  • 增加 Perceiver 潜在向量数量和体素分辨率通常会提高性能,旋转扰动有助于鲁棒性。
  • 真实机器人实验表明,该方法在 7 项任务上以 53 次演示取得有意义的成功,突显了在不进行大量预训练的情况下的仿真到现实的可行性。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。