[论文解读] DefGraspSim: Simulation-based grasping of 3D deformable objects

Isabella Huang, Yashraj Narang+5 more|arXiv (Cornell University)|Jul 12, 2021

Robot Manipulation and Learning参考文献 51被引用 14

一句话总结

本文提出DefGraspSim，一种基于 corotational 有限元法（FEM）的仿真框架，用于研究机器人对3D可变形物体的抓取。该框架对34种物体进行了6,800次抓取评估，识别出能高精度预测应力、变形和不稳定性等性能指标的抓取特征，并通过真实世界中的北豆腐和乳胶管实验进行了验证。

ABSTRACT

Robotic grasping of 3D deformable objects (e.g., fruits/vegetables, internal organs, bottles/boxes) is critical for real-world applications such as food processing, robotic surgery, and household automation. However, developing grasp strategies for such objects is uniquely challenging. In this work, we efficiently simulate grasps on a wide range of 3D deformable objects using a GPU-based implementation of the corotational finite element method (FEM). To facilitate future research, we open-source our simulated dataset (34 objects, 1e5 Pa elasticity range, 6800 grasp evaluations, 1.1M grasp measurements), as well as a code repository that allows researchers to run our full FEM-based grasp evaluation pipeline on arbitrary 3D object models of their choice. We also provide a detailed analysis on 6 object primitives. For each primitive, we methodically describe the effects of different grasp strategies, compute a set of performance metrics (e.g., deformation, stress) that fully capture the object response, and identify simple grasp features (e.g., gripper displacement, contact area) measurable by robots prior to pickup and predictive of these performance metrics. Finally, we demonstrate good correspondence between grasps on simulated objects and their real-world counterparts.

研究动机与目标

• 为解决在现实应用（如食品处理和外科手术）中常见的3D可变形物体机器人抓取缺乏系统性研究的问题。
• 克服刚性物体抓取指标的局限性，通过建模物体变形、接触动力学以及在大扰动下的性能表现。
• 识别抓取前的抓取特征，这些特征与3D可变形物体的关键性能指标（如应力、变形和可控性）相关。
• 通过北豆腐和乳胶管的实测实验验证仿真精度，证明仿真结果与真实世界在变形和失效模式上具有高度相似性。
• 发布包含110万条测量数据、代码库和交互式可视化工具的大型数据集，供社区用于可变形抓取的学习与规划。

提出的方法

• 使用Isaac Gym结合GPU加速的corotational FEM，模拟Franka平行颚式夹爪与34种3D可变形物体的相互作用。
• 将物体建模为四面体网格，并在GPU上使用牛顿-拉夫森法求解非线性弹性方程，实现实时仿真（5–10 fps）。
• 每个抓取执行四个测试阶段：抓取、重新定向、线性加速度和角加速度，以评估稳定性和可控性。
• 测量七项性能指标：抓取成功率、应力、变形、应变能、线性/角不稳定性以及变形可控性。
• 提取七项抓取特征：接触区域到质心的距离、垂直距离、接触点数量、边缘距离、夹爪挤压距离、分离度以及重力对齐度。
• 应用基于排列的特征重要性分析，识别出在各类物体基本形态中，对各项性能指标预测能力最强的特征。

实验结果

研究问题

• RQ1 哪些抓取特征最能预测3D可变形物体的性能指标（如应力、变形和不稳定性）？
• RQ2 物体几何形状和弹性模量（10⁴ 至 10⁹ Pa）如何影响抓取特征与性能结果之间的关系？
• RQ3 仿真在多大程度上准确反映了北豆腐和乳胶管等可变形物体的真实抓取结果？
• RQ4 从仿真中提取的抓取特征能否可靠预测真实世界机器人操作中的可控性和稳定性？
• RQ5 在不同抓取构型下，竞争性性能指标（如稳定性 vs. 低变形）之间如何权衡？

主要发现

• ‘edge_dist’（接触区域到夹爪手指边缘的距离）是预测所有物体基本形态中线性与角不稳定性最重要的特征，因为它反映了失去接触所需的物理位移量。
• 对于变形可控性，‘contact_patch_distance_to_centroid’（接触区域到质心的距离）和‘number_of_contact_points’（接触点数量）最具预测力，因为它们反映了被挤压材料的多少以及抓取的机械优势。
• 在1–2 N力作用下，仿真与真实北豆腐块的变形表现出高度一致的视觉与定量相似性，应力预测值与文献报道的断裂阈值吻合。
• 在乳胶管实验中，仿真得到的变形可控性排名（如抓取F > 抓取D）在真实世界的重新定向测试中得到验证，其中抓取F实现了更大的摆动角度。
• 对于圆柱体，‘edge_dist’是预测应力和变形的首要指标，反映了在端部或中部抓取时对夹持与弯曲的影响。
• 尽管弹性模量不同，基于性能指标的抓取相对排名保持高度一致，表明基于特征的预测方法在不同材料刚度下均具有鲁棒性。