[论文解读] Grasping Field: Learning Implicit Representations for Human Grasps

Korrawe Karunratanakul, Jinlong Yang+4 more|arXiv (Cornell University)|Aug 10, 2020

Robot Manipulation and Learning参考文献 89被引用 12

一句话总结

本文提出了一种基于深度学习的隐式表示方法——抓握场（Grasping Field），通过将任意3D点映射到手部和物体表面的有符号距离，实现对3D手-物体交互的建模。该方法能够从3D物体点云中生成高质量、物理上合理的抓握动作，并在单张RGB图像上提升3D手-物体重建质量，其在接触真实性与重建质量方面优于先前的最先进方法。

ABSTRACT

Robotic grasping of house-hold objects has made remarkable progress in recent years. Yet, human grasps are still difficult to synthesize realistically. There are several key reasons: (1) the human hand has many degrees of freedom (more than robotic manipulators); (2) the synthesized hand should conform to the surface of the object; and (3) it should interact with the object in a semantically and physically plausible manner. To make progress in this direction, we draw inspiration from the recent progress on learning-based implicit representations for 3D object reconstruction. Specifically, we propose an expressive representation for human grasp modelling that is efficient and easy to integrate with deep neural networks. Our insight is that every point in a three-dimensional space can be characterized by the signed distances to the surface of the hand and the object, respectively. Consequently, the hand, the object, and the contact area can be represented by implicit surfaces in a common space, in which the proximity between the hand and the object can be modelled explicitly. We name this 3D to 2D mapping as Grasping Field, parameterize it with a deep neural network, and learn it from data. We demonstrate that the proposed grasping field is an effective and expressive representation for human grasp generation. Specifically, our generative model is able to synthesize high-quality human grasps, given only on a 3D object point cloud. The extensive experiments demonstrate that our generative model compares favorably with a strong baseline and approaches the level of natural human grasps. Our method improves the physical plausibility of the hand-object contact reconstruction and achieves comparable performance for 3D hand reconstruction compared to state-of-the-art methods.

研究动机与目标

• 开发一种表达能力强且高效的表示方法，用于建模复杂的人体手-物体交互。
• 实现从未见过的3D物体点云中生成逼真、物理上合理的抓握动作。
• 通过施加无相互穿透等物理约束，提升从单张RGB图像中重建3D手和物体的性能。
• 解决基于网格的表示方法的局限性，例如固定接触区域和亏格约束。
• 通过隐式、可微分的接触建模，实现手-物体交互的端到端学习。

提出的方法

• Grasping Field被定义为从3D到2D的映射，其中每个3D点被映射到手部和物体表面的有符号距离。
• 该表示通过在真实人体抓握数据上端到端训练的深度神经网络进行参数化。
• 当两个有符号距离均接近零时，隐式定义接触区域，从而实现自然的手-物体接触建模。
• 采用双解码器网络架构，同时预测手部和物体的有符号距离，并通过损失项强制实现物理合理性。
• 在训练过程中引入接触损失和相互穿透损失，以最小化重叠并提升接触的真实感。
• 在RGB图像重建任务中，网络被调整为联合预测手部和物体的几何形状，以Grasping Field作为隐式形状表示。

实验结果

研究问题

• RQ1 学习得到的隐式表示能否有效建模人体手部与3D物体之间复杂且高自由度的交互？
• RQ2 在不使用显式网格化或启发式接触区域的情况下，如何在合成的人体抓握中强制实现物理合理性和语义真实性？
• RQ3 与基于网格的基线方法相比，Grasping Field表示能否提升从单张RGB图像中重建3D手和物体的性能？
• RQ4 在抓握生成过程中，该模型对未见过的物体具有多大程度的泛化能力？
• RQ5 与显式基于网格的接触推理相比，Grasping Field中的隐式接触建模在准确性和鲁棒性方面表现如何？

主要发现

• 所提出的生成模型能够从3D物体点云中合成高质量、物理和语义上均合理的抓握动作，即使在未见过的物体上也能实现。
• 与基线方法[29]相比，该模型在重建任务中将手部与物体之间的相互穿透减少了30%，显著提升了物理合理性。
• 在FHB数据集上，当与伪真值MANO关节对比时，该模型实现了2.6 cm的手部关节点重建误差，接近当前最先进水平。
• Grasping Field表示能够准确推断接触区域，而无需预定义的接触区域或网格分辨率约束。
• 对重建手部进行MANO拟合的结果表明，该模型能够生成逼真的手部形状，而无需依赖统计手部模型进行正则化。
• 消融实验表明，接触损失和相互穿透损失显著提升了重建质量，尤其是在双解码器架构中。