[论文解读] Hand-Object Contact Consistency Reasoning for Human Grasps Generation

Hanwen Jiang, Shaowei Liu+2 more|arXiv (Cornell University)|Apr 7, 2021

Robot Manipulation and Learning参考文献 49被引用 6

一句话总结

本文提出了一种新颖的框架，通过强制执行手-物体接触一致性，实现对3D物体的自然且稳定的真人抓握。该框架采用双网络结构，包含基于CVAE的抓握生成器和接触图预测器，并利用自监督的推理时自适应技术，提升在未见及分布外物体上的泛化能力，实现了抓握质量与稳定性的最先进性能。

ABSTRACT

While predicting robot grasps with parallel jaw grippers have been well studied and widely applied in robot manipulation tasks, the study on natural human grasp generation with a multi-finger hand remains a very challenging problem. In this paper, we propose to generate human grasps given a 3D object in the world. Our key observation is that it is crucial to model the consistency between the hand contact points and object contact regions. That is, we encourage the prior hand contact points to be close to the object surface and the object common contact regions to be touched by the hand at the same time. Based on the hand-object contact consistency, we design novel objectives in training the human grasp generation model and also a new self-supervised task which allows the grasp generation network to be adjusted even during test time. Our experiments show significant improvement in human grasp generation over state-of-the-art approaches by a large margin. More interestingly, by optimizing the model during test time with the self-supervised task, it helps achieve larger gain on unseen and out-of-domain objects. Project page: https://hwjiang1510.github.io/GraspTTA/

研究动机与目标

• 解决在具有复杂手-物体交互的3D物体上生成自然且物理上合理的真人抓握的挑战。
• 通过建模预测的手部接触点与物体接触区域之间的相互一致性，提升抓握的真实感与稳定性。
• 通过利用手部与物体接触预测之间的一致性，实现无需真实标签监督的推理时自适应。
• 通过推理时的在线自适应优化，提升对分布外及未见物体的泛化能力。

提出的方法

• 训练一个条件变分自编码器（CVAE），根据3D物体点云生成MANO手部参数，引入新型损失函数，强制手部靠近物体表面并与其真实接触区域对齐。
• 独立训练一个ContactNet，从生成的手部姿态和物体几何中预测物体接触图，为推理时自适应提供监督信号。
• 引入自监督的一致性损失，使推理时自适应过程中预测的手部接触点与ContactNet生成的物体接触图对齐。
• 通过在线微调抓握生成器，利用一致性损失执行推理时自适应（TTA），实现在无外部监督下对每个测试实例的动态优化。
• 该框架支持离线与在线TTA两种变体，其中在线TTA因持续优化而表现更优。
• 该方法通过手部与物体接触之间的相互一致性，指导训练与推理过程，提升抓握稳定性并减少穿透现象。

Figure 2: The different usage of proposed networks in training and testing. Left : During training, the two networks learn generating human grasps and predicting object contact map separately on ground truth data. Right : At test-time, the two networks are unified in a cascade manner. A initial gras

实验结果

研究问题

• RQ1 如何建模手-物体接触一致性，以提升生成真人抓握的真实感与稳定性？
• RQ2 基于接触一致性的自监督任务是否能有效实现对未见或分布外物体的推理时自适应？
• RQ3 在零样本与跨域设置下，强制手部接触点与物体接触区域之间达成一致，对泛化能力有何影响？
• RQ4 在线与离线推理时自适应对抓握质量与穿透控制的影响是什么？

主要发现

• 所提方法在最先进方法的基础上显著提升了抓握生成质量，尤其在未见及分布外物体上表现突出。
• 在线推理时自适应（TTA）带来最大性能提升，显著降低穿透深度，提高接触比例，同时保持较低的模拟位移。
• 自监督的一致性任务无需真实标签即可实现有效自适应，提升新输入下的抓握稳定性与自然度。
• 训练阶段引入接触一致性约束，可生成更具物理合理性的抓握，减少手-物体穿透并优化接触分布。
• 在HO-3D与FPHA数据集上，该方法优于基线模型，甚至在稳定性和穿透平衡方面达到或超过真实标注水平。
• 与离线版本相比，在线TTA变体表现更优，证明了推理时持续优化的优势。

Figure 3: The architecture of GraspCVAE. (a) In training, it takes both hand-object as input to predict a hand mesh for grasping the object in a hand reconstruction manner using both of its encoder-decoder ; (b) At test-time, its decoder generates grasps by conditioning only on object information as