[论文解读] Deep Differentiable Grasp Planner for High-DOF Grippers

Min Liu, Zherong Pan+3 more|arXiv (Cornell University)|Feb 4, 2020

Robot Manipulation and Learning参考文献 55被引用 4

一句话总结

该论文提出了一种用于高自由度夹爪的可微分抓取规划方法，实现了基于自动微分的端到端深度神经网络训练，以预测抓取姿态。通过将广义的、可微分的抓取质量度量和碰撞约束从表面网格中形式化，该方法在极少真实标注数据的情况下实现了更高的抓取成功率，相较于先前方法，物理硬件成功率提升了22%，Q₁指标提高了0.12。

ABSTRACT

We present an end-to-end algorithm for training deep neural networks to grasp novel objects. Our algorithm builds all the essential components of a grasping system using a forward-backward automatic differentiation approach, including the forward kinematics of the gripper, the collision between the gripper and the target object, and the metric for grasp poses. In particular, we show that a generalized Q1 grasp metric is defined and differentiable for inexact grasps generated by a neural network, and the derivatives of our generalized Q1 metric can be computed from a sensitivity analysis of the induced optimization problem. We show that the derivatives of the (self-)collision terms can be efficiently computed from a watertight triangle mesh of low-quality. Altogether, our algorithm allows for the computation of grasp poses for high-DOF grippers in an unsupervised mode with no ground truth data, or it improves the results in a supervised mode using a small dataset. Our new learning algorithm significantly simplifies the data preparation for learning-based grasping systems and leads to higher qualities of learned grasps on common 3D shape datasets [7, 49, 26, 25], achieving a 22% higher success rate on physical hardware and a 0.12 higher value on the Q1 grasp quality metric.

研究动机与目标

• 通过消除对大规模真实抓取标注数据的依赖，简化基于学习的抓取任务中的数据准备过程。
• 仅使用多视角深度图像作为输入，实现高自由度夹爪的深度神经网络端到端训练。
• 开发一种即使在夹爪未接触物体的非精确、非接触抓取情况下依然有效的可微分抓取质量度量。
• 利用低质量三角网格高效计算自碰撞和物体碰撞约束的梯度。
• 在无监督和有监督学习设置下，仅使用少量数据即可提升抓取质量和成功率。

提出的方法

• 该方法使用一个神经网络，以多视角深度图像作为输入，通过ResNet-50和全连接层结合视图池化，直接预测高自由度夹爪的配置。
• 正向运动学将预测的配置转换为欧氏空间，以供物理执行和碰撞检测。
• 定义并优化一种广义的可微分抓取质量度量Q₁，即使夹爪未接触物体也适用。
• 通过底层优化问题的敏感性分析计算Q₁度量的梯度，从而实现通过抓取质量函数的反向传播。
• 利用从封闭三角网格计算出的可微分距离函数，强制执行自碰撞和物体碰撞约束。
• 通过结合抓取质量最大化、碰撞规避、数据一致性以及夹爪-物体接近度的损失函数，对整个系统进行训练。

实验结果

研究问题

• RQ1 能否为高自由度夹爪在非精确、非接触抓取情况下定义并优化可微分的抓取质量度量？
• RQ2 如何仅使用表面网格表示，使自碰撞和物体碰撞约束实现可微分？
• RQ3 能否训练一个深度神经网络实现端到端预测高自由度抓取姿态，而无需大规模真实抓取数据？
• RQ4 可微分抓取规划在真实硬件部署中，能在多大程度上提升抓取成功率和质量指标？
• RQ5 所提出方法能否在保持或提升性能的同时，降低基于学习的抓取任务中的数据准备复杂度？

主要发现

• 与基线方法相比，该方法在真实硬件上实现了22%更高的抓取成功率。
• 该方法使Q₁抓取质量指标提升了0.12分，表明抓取更稳定且更具鲁棒性。
• 该方法支持无监督训练，无需真实抓取数据，显著降低了数据准备的开销。
• 可微分的抓取度量和碰撞约束使得基于梯度的优化更加高效，从而获得局部最优的抓取姿态。
• 即使使用低质量三角网格，该方法仍能保持高性能，实现了高效的碰撞计算。
• 该架构在标准3D形状数据集（包括ShapeNet和ModelNet）上达到了最先进性能。