[论文解读] Equivariant Descriptor Fields: SE(3)-Equivariant Energy-Based Models for End-to-End Visual Robotic Manipulation Learning

Hyunwoo Ryu, Jeong Hoon Lee+2 more|arXiv (Cornell University)|Jun 16, 2022

Multimodal Machine Learning Applications被引用 11

一句话总结

本文提出等变描述子场（EDFs），一种新颖的SE(3)-等变能量基模型，用于从点云实现端到端的视觉机器人操作。通过利用表示理论构建等变描述子并引入可学习的能量函数，EDFs实现了高样本效率——仅需5–10次示范——并在无需预训练、分割或姿态估计流程的情况下，泛化至未见过的物体位姿、实例和干扰物。

ABSTRACT

End-to-end learning for visual robotic manipulation is known to suffer from sample inefficiency, requiring large numbers of demonstrations. The spatial roto-translation equivariance, or the SE(3)-equivariance can be exploited to improve the sample efficiency for learning robotic manipulation. In this paper, we present SE(3)-equivariant models for visual robotic manipulation from point clouds that can be trained fully end-to-end. By utilizing the representation theory of the Lie group, we construct novel SE(3)-equivariant energy-based models that allow highly sample efficient end-to-end learning. We show that our models can learn from scratch without prior knowledge and yet are highly sample efficient (5~10 demonstrations are enough). Furthermore, we show that our models can generalize to tasks with (i) previously unseen target object poses, (ii) previously unseen target object instances of the category, and (iii) previously unseen visual distractors. We experiment with 6-DoF robotic manipulation tasks to validate our models' sample efficiency and generalizability. Codes are available at: https://github.com/tomato1mule/edf

研究动机与目标

• 通过利用空间旋转变换（SE(3)）等变性，解决端到端视觉机器人操作中的样本效率低下问题。
• 克服先前方法（如仅支持SE(2)的Transporter Networks和非端到端、依赖分割的Neural Descriptor Fields）的局限性。
• 实现在无需预训练、物体关键点标注或分割流程情况下的完全端到端训练。
• 实现对未见过的目标物体位姿、同类别新实例以及新型视觉干扰物的泛化能力。
• 开发一种可微分的、SE(3)-等变的框架，在数据稀缺和真实世界条件下仍保持高性能。

提出的方法

• 将神经描述子场（NDFs）的能量最小化重新表述为基于能量模型的概率学习框架，定义于SE(3)流形之上。
• 将NDFs中的不变描述子推广为基于表示理论的等变描述子，具备方向敏感性且满足SE(3)-等变性。
• 提出一种新型SE(3)-等变能量函数，联合建模目标物体与放置目标的变换。
• 设计可端到端训练的查询点网络，保持SE(3)等变性，且不依赖非局部机制。
• 仅使用5–10次专家示范进行端到端训练，无需辅助预训练或分割。
• 由于能量基模型中归一化常数不可解析计算，采用基于MCMC的梯度估计方法进行训练。

实验结果

研究问题

• RQ1 能否在无需预训练或分割的情况下，从原始点云端到端训练SE(3)-等变模型？
• RQ2 端到端SE(3)-等变模型在未见物体位姿和实例上的泛化能力达到何种程度？
• RQ3 在训练中未见过的新型视觉干扰物存在时，所提方法的表现如何？
• RQ4 模型能否在仅使用5–10次示范的前提下，保持高样本效率并实现多样化测试条件下的泛化？
• RQ5 与不变描述子相比，等变描述子在鲁棒性和泛化能力方面表现如何？

主要发现

• EDFs 在仅使用5–10次示范的情况下，对未见过位姿、未见过实例和未见过干扰物的马克杯抓取与放置任务中实现100%成功率。
• EDFs 对未见过的瓶子实例实现95%的总体成功率，对未见过的马克杯和碗实例在所有设置下均实现95–100%的成功率。
• 即使对比模型仅使用类型-0描述子且查询点数量增加三倍、推理时间显著更长（如瓶子为23.0秒 vs. 16.7秒），EDFs 仍表现更优。
• EDFs 在未见过的位姿和干扰物下保持100%成功率，而SE(3)-TNs（基线模型）成功率下降至91–92%，表明EDFs具有更强的鲁棒性。
• EDFs 可泛化至多模态示范（如杯口和杯柄抓取），实现99%的总体成功率；而SE(3)-TNs 在高方差示范下完全失败。
• 相比之下，NDFs 在未分割输入下完全失效（马克杯成功率为0%），证实分割对NDFs至关重要，但对EDFs并非必需。