[论文解读] 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal

Hao Meng, Sheng Jin+5 more|arXiv (Cornell University)|Jul 22, 2022

Human Pose and Action Recognition被引用 5

一句话总结

本文提出了一种用于3D交互手部姿态估计的新型手部去遮挡与去除（HDR）框架，将任务分解为独立的手部去遮挡、去除干扰手以及单手姿态估计三个子任务。该方法通过利用一个新的大规模合成非模态手部数据集（非模态交互手，AIH），在InterHand2.6M数据集上实现了最先进性能，显著优于先前方法，在处理严重遮挡和外观模糊问题上表现更优。

ABSTRACT

Estimating 3D interacting hand pose from a single RGB image is essential for understanding human actions. Unlike most previous works that directly predict the 3D poses of two interacting hands simultaneously, we propose to decompose the challenging interacting hand pose estimation task and estimate the pose of each hand separately. In this way, it is straightforward to take advantage of the latest research progress on the single-hand pose estimation system. However, hand pose estimation in interacting scenarios is very challenging, due to (1) severe hand-hand occlusion and (2) ambiguity caused by the homogeneous appearance of hands. To tackle these two challenges, we propose a novel Hand De-occlusion and Removal (HDR) framework to perform hand de-occlusion and distractor removal. We also propose the first large-scale synthetic amodal hand dataset, termed Amodal InterHand Dataset (AIH), to facilitate model training and promote the development of the related research. Experiments show that the proposed method significantly outperforms previous state-of-the-art interacting hand pose estimation approaches. Codes and data are available at https://github.com/MengHao666/HDR.

研究动机与目标

• 解决从单张RGB图像进行3D交互手部姿态估计时面临的严重手部遮挡与外观模糊挑战。
• 将复杂的交互手部任务分解为更简单的子任务：手部去遮挡与去除，随后进行单手姿态估计。
• 构建一个大规模合成数据集，包含非模态与模态分割、去遮挡及去除的真值，以支持训练与基准测试。
• 通过将交互手部图像转换为类似单手输入的形式，实现对最先进单手姿态估计器的有效利用。

提出的方法

• HDR框架由三个组件构成：手部非模态分割模块（HASM）、手部去遮挡与去除模块（HDRM）以及单手姿态估计器（SHPE）。
• HASM为两只手生成非模态与可见的分割掩码，为去遮挡与去除提供空间与外观线索。
• HDRM通过预测被遮挡手部区域的外观，在图像层面实现去遮挡，并通过图像操作去除干扰手。
• 框架采用对抗性训练，结合判别器以提升图像恢复质量，并引入Transformer模块以增强特征交互与感受野。
• 创建了一个新的大规模合成数据集——非模态交互手（AIH），包含两种变体：AIH_Syn（通过复制粘贴实现逼真外观）与AIH_Render（通过3D网格渲染实现物理解剖学上合理的姿态）。
• 该方法在AIH上训练HDRM，并将生成的HDR变换图像输入现成的SHPE以完成最终的3D姿态预测。

实验结果

研究问题

• RQ1 HDR框架在严重手部遮挡与外观模糊条件下，对提升3D交互手部姿态估计的有效性如何？
• RQ2 与现有基准相比，所提出的非模态交互手（AIH）数据集在提升模型泛化能力与性能方面有多大改善？
• RQ3 去遮挡与去除在降低交互手部场景中姿态估计误差方面的贡献分别是什么？
• RQ4 如Transformer模块与判别器等设计选择如何影响HDR框架的最终性能？
• RQ5 HDR框架能否泛化到训练分布之外的真实世界数据集？

主要发现

• 所提出的HDR框架在InterHand2.6M基准上实现了18.10 mm的MPJPE，显著优于先前最先进方法。
• 禁用去除组件后，MPJPE上升34.4%，表明其在减少干扰手影响方面具有关键作用。
• 禁用去遮挡组件后，MPJPE上升9.5%，证实恢复被遮挡部分对准确姿态估计至关重要。
• 与无Transformer基线相比，使用Transformer模块使性能提升4.8%，凸显其在特征学习中的重要性。
• 仅在AIH_Render上进行训练即可达到18.10 mm的MPJPE，表明物理上合理的合成数据对泛化具有高度有效性。
• HDRM模块每帧仅需0.6 ms的计算时间，尽管任务复杂，整体推理效率仍很高。