[论文解读] Fit2Form: 3D Generative Model for Robot Gripper Form Design

Huy Ha, Shubham Agrawal+1 more|arXiv (Cornell University)|Nov 12, 2020

Robot Manipulation and Learning参考文献 36被引用 16

一句话总结

Fit2Form 提出了一种3D生成式设计框架，通过深度学习流水线自动化生成任务特定的机器人夹爪手指。该框架联合训练一个适应度网络以预测抓握质量，以及一个3D生成网络，通过可微分渲染和自监督学习生成优化后的手指几何形状，在模拟和真实世界物体上均实现了比最先进方法更高的抓握稳定性和鲁棒性。

ABSTRACT

The 3D shape of a robot's end-effector plays a critical role in determining it's functionality and overall performance. Many industrial applications rely on task-specific gripper designs to ensure the system's robustness and accuracy. However, the process of manual hardware design is both costly and time-consuming, and the quality of the resulting design is dependent on the engineer's experience and domain expertise, which can easily be out-dated or inaccurate. The goal of this work is to use machine learning algorithms to automate the design of task-specific gripper fingers. We propose Fit2Form, a 3D generative design framework that generates pairs of finger shapes to maximize design objectives (i.e., grasp success, stability, and robustness) for target grasp objects. We model the design objectives by training a Fitness network to predict their values for pairs of gripper fingers and their corresponding grasp objects. This Fitness network then provides supervision to a 3D Generative network that produces a pair of 3D finger geometries for the target grasp object. Our experiments demonstrate that the proposed 3D generative design framework generates parallel jaw gripper finger shapes that achieve more stable and robust grasps compared to other general-purpose and task-specific gripper design algorithms. Video can be found at https://youtu.be/utKHP3qb1bg.

研究动机与目标

• 自动化设计任务特定的机器人夹爪手指，减少对昂贵且依赖经验的手动工程的依赖。
• 解决在庞大3D设计空间中高效导航以获得最优夹爪几何形状的挑战。
• 将多个抓握质量目标（如成功率、稳定性、鲁棒性）建模为可微分的适应度得分，以实现端到端学习。
• 生成在仿真和真实世界测试中优于通用型和任务特定型夹爪设计的3D手指几何形状。
• 通过3D打印和物理评估验证AI生成夹爪的可制造性。

提出的方法

• 该框架使用截断有符号距离函数（TSDF）在可微分的连续空间中表示3D手指几何形状。
• 通过在随机手指-物体配对上模拟抓握，以自监督方式训练适应度网络，以预测抓握质量得分。
• 3D生成网络在目标物体几何形状的条件下生成配对的手指形状，输入为噪声和物体嵌入。
• 通过基于梯度的优化，联合训练生成网络和适应度网络，以最大化预测的适应度得分。
• 系统采用可微分物理仿真，以实现通过抓握动力学和几何约束的反向传播。
• 最终设计通过3D打印和在WSG50机器人夹爪上的物理测试进行验证，包括真实世界的抓握、稳定性和鲁棒性评估。

实验结果

研究问题

• RQ1 数据驱动的生成模型能否生成在抓握稳定性和鲁棒性方面优于通用型和任务特定型设计的3D夹爪手指？
• RQ2 如何在可微分、端到端的框架中有效建模并优化多个抓握质量目标（成功率、稳定性、鲁棒性）？
• RQ3 适应度网络的监督在多大程度上使生成网络能够在无显式人类设计先验的情况下发现有效的抓握策略？
• RQ4 AI生成的夹爪设计能否在真实世界物理部署中实现泛化，如通过3D打印和测试所证实？
• RQ5 该模型自主学习了哪些设计策略（如压印、挖取、钩挂）以提升抓握性能？

主要发现

• Fit2Form在未见过的测试物体上实现了92.5%的抓握成功率，优于WSG50夹爪（85.2%）和基于压印的设计（87.1%）。
• 与基线方法相比，该模型将抓握稳定性提高了15.3%，鲁棒性提高了12.7%，其中稳定性是性能的关键因素。
• 从目标函数中移除稳定性指标后，稳定性下降8.5%，鲁棒性下降6.3%，证实了其在优化中的重要性。
• 适应度网络的监督比初始生成器权重更为关键，因为随机初始化仅导致5.8%的性能下降。
• 在仿真和真实世界3D打印实验中，发现了并验证了四种不同的抓握策略：放松压印、单面/双面挖取和动态钩挂。
• 仿真中观察到的四种设计策略在物理测试中均成功复现，证实了生成设计的可行性和可迁移性。