[论文解读] Learning Robust Real-World Dexterous Grasping Policies via Implicit Shape Augmentation

Zoey Qiuyu Chen, Karl Van Wyk+5 more|arXiv (Cornell University)|Oct 24, 2022

Robot Manipulation and Learning被引用 5

一句话总结

本文提出 ISAGrasp，一种利用对应感知的隐式生成模型，将少量人类抓握示范数据增强为多样化、逼真的新型物体形状及其对应成功抓握的完整数据集。通过在潜在空间中变形物体网格与抓握姿态，该方法实现了对灵巧抓握策略的监督训练，在四指 Allegro 机械手上对未见过的真实世界物体实现了 79% 的成功率。

ABSTRACT

Dexterous robotic hands have the capability to interact with a wide variety of household objects to perform tasks like grasping. However, learning robust real world grasping policies for arbitrary objects has proven challenging due to the difficulty of generating high quality training data. In this work, we propose a learning system (ISAGrasp) for leveraging a small number of human demonstrations to bootstrap the generation of a much larger dataset containing successful grasps on a variety of novel objects. Our key insight is to use a correspondence-aware implicit generative model to deform object meshes and demonstrated human grasps in order to generate a diverse dataset of novel objects and successful grasps for supervised learning, while maintaining semantic realism. We use this dataset to train a robust grasping policy in simulation which can be deployed in the real world. We demonstrate grasping performance with a four-fingered Allegro hand in both simulation and the real world, and show this method can handle entirely new semantic classes and achieve a 79% success rate on grasping unseen objects in the real world.

研究动机与目标

• 解决在真实世界中仅依赖有限人类示范数据时，学习鲁棒且可泛化的灵巧抓握策略的挑战。
• 从少量专家示范中生成大规模、多样化且语义上真实的新型物体形状与成功抓握数据集。
• 实现基于点云的抓握策略的监督学习，使其在未见过的物体类别和真实世界动态条件下具备泛化能力。
• 通过隐式形状变形实现数据增强，提升对已知物体类别之外的泛化能力。

提出的方法

• 使用一种对应感知的隐式生成模型（DIF-Net），在学习到的潜在空间中对 3D 物体网格及其对应的人类抓握姿态进行变形，生成新颖且逼真的物体形状与抓握配对。
• 该方法在隐式 3D 表示上执行形状变形，保留语义结构的同时生成多样化且合理的物体变体。
• 通过拒绝采样对变形物体的抓握进行优化，确保动力学一致性及仿真环境中的成功抓握。
• 训练一个监督策略，从物体点云中预测预抓握姿态与最终抓握姿态，利用增强后的数据集实现泛化。
• 该策略在四指 Allegro 机械手上部署于仿真环境与真实世界环境，支持实时点云输入。

实验结果

研究问题

• RQ1 隐式形状变形能否从少量人类示范中生成多样化、语义上真实的物体形状及其对应的成功抓握？
• RQ2 在该增强数据集上训练的策略能否在仿真与真实世界部署中泛化至新型未见过的物体类别？
• RQ3 与其它数据增强或模仿学习方法相比，隐式形状增强在真实世界泛化能力与成功率方面表现如何？
• RQ4 当应用于极端形状、尺寸或抓握需求的物体时，该方法的失败模式与局限性是什么？

主要发现

• ISAGrasp 流程在 22 种未见过的真实世界物体上实现了 79% 的成功率，证明了其对新型物体类别的强大泛化能力。
• 该方法成功通过原始人类示范的隐式变形，生成了多样化的新物体形状与对应抓握数据集。
• 消融实验表明，与基线数据增强或未增强的模仿学习相比，隐式形状增强显著提升了策略的泛化性能。
• 该策略在仿真与真实世界测试中，对 YCB、ShapeNet 和 GoogleScans 等多个物体类别均表现出有效泛化。
• 失败案例主要出现在极大、极扁平或高度不对称的物体上（如饼干盒、剪刀、老鹰模型），凸显了对尺度与形状的敏感性。