[论文解读] CPF: Learning a Contact Potential Field to Model the Hand-Object Interaction

Lixin Yang, Xinyu Zhan+4 more|arXiv (Cornell University)|Dec 2, 2020

Robot Manipulation and Learning参考文献 56被引用 5

一句话总结

本文提出接触势场（CPF），一种可学习的、基于物理的接触表征方法，通过将手-物体交互建模为弹簧-质量系统以最小化弹性能量，实现鲁棒的姿态估计。MIHO框架将CPF与解剖学约束的手部模型（A-MANO）结合，在HO3D数据集上实现最先进性能，并在FHB数据集上提升了物理合理性，尽管真实标注存在噪声。

ABSTRACT

Modeling the hand-object (HO) interaction not only requires estimation of the HO pose, but also pays attention to the contact due to their interaction. Significant progress has been made in estimating hand and object separately with deep learning methods, simultaneous HO pose estimation and contact modeling has not yet been fully explored. In this paper, we present an explicit contact representation namely Contact Potential Field (CPF), and a learning-fitting hybrid framework namely MIHO to Modeling the Interaction of Hand and Object. In CPF, we treat each contacting HO vertex pair as a spring-mass system. Hence the whole system forms a potential field with minimal elastic energy at the grasp position. Extensive experiments on the two commonly used benchmarks have demonstrated that our method can achieve state-of-the-art in several reconstruction metrics, and allow us to produce more physically plausible HO pose even when the ground-truth exhibits severe interpenetration or disjointedness. Our code is available at https://github.com/lixiny/CPF.

研究动机与目标

• 解决联合手-物体姿态估计中缺乏显式接触建模的问题，尤其是在真实标注存在穿插或分离问题时。
• 克服基于距离的接触启发式方法和基于物理的优化方法的局限性，后者缺乏语义基础且灵活性不足。
• 开发一种编码每个顶点接触语义并能在优化过程中强制实现物理合理性的接触表征。
• 引入解剖学约束的手部模型（A-MANO），以防止拟合过程中的姿态异常。
• 提出一种混合学习-拟合框架（MIHO），联合优化姿态与接触，以CPF作为可微分能量项。

提出的方法

• 将手-物体接触建模为势场（CPF），其中每对对手-物体顶点被视为具有吸引力和排斥力的弹簧-质量系统。
• 将CPF的弹性能量定义为弹簧能量之和，其中亲和顶点对之间存在吸引力，物体相交时产生排斥力。
• 采用可微分的能量最小化过程优化手和物体的姿态，确保在抓握构型下弹性能量最小。
• 引入A-MANO，一种新型手部模型，通过在扭转-偏转-弯曲框架内约束关节旋转，防止解剖学上的不一致性。
• 设计一种混合学习-拟合框架（MIHO），首先通过神经网络预测初始姿态，然后利用基于CPF的能量最小化进行优化。
• 将总能量表述为几何、接触和解剖学正则化项的组合，其中接触能量（E_elast）是实现物理合理性的关键驱动力。

实验结果

研究问题

• RQ1 可学习的、显式的接触表征是否能提升手-物体姿态估计的物理合理性和重建精度？
• RQ2 将接触建模为具有顶点语义的势场，与启发式基于距离的接触建模相比有何优势？
• RQ3 解剖学约束在高自由度手部模型优化过程中，能在多大程度上防止姿态异常？
• RQ4 所提出的框架是否能在具有噪声或不完美真实标注的数据集上超越现有方法？
• RQ5 集成可微分接触能量项是否能带来更快且更稳定的优化？

主要发现

• 在HO3Dv2基准上，MIHO实现最先进性能，手部顶点误差（HE）为19.54 mm，物体顶点误差（OE）为21.57 mm，PD为16.92 mm，SIV为11.76 mm，DD为22.41 mm。
• 在FHB数据集上，尽管真实标注存在严重穿插，MIHO仍实现了优于真实标注的物理合理性，HE为19.54 mm，PD为16.92 mm。
• 与基线接触启发式方法相比，MIHO将平均迭代时间减少46%，且在所有指标上均优于Vanilla Contact和ObMan Contact。
• 移除排斥弹簧后，PD增加0.87 mm，SIV增加2.00 mm，证实其在避免穿插中的关键作用。
• 消融实验表明，解剖学约束（L_anat）能有效防止优化过程中的异常手部姿态，如图7所示，未约束优化导致不自然的关节构型。
• CPF方法成功学习了接触语义，定性结果表明其能保留细微交互（如拧下过程中无名指与小指的接触），而不会强制非亲和配对之间产生接触。