[论文解读] MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis

Zhenyu Wu, Duc Hoang+6 more|arXiv (Cornell University)|Oct 2, 2020

Human Pose and Action Recognition参考文献 56被引用 7

一句话总结

本文提出 MM-Hand，一种具备 3D 感知能力的多模态生成网络，通过 3D 手部姿态监督，生成逼真、多样且保持 3D 姿态一致性的手部图像。通过整合轮廓图、深度图、注意力掩码以及基于几何的课程训练策略，MM-Hand 生成了高保真度的合成数据，显著提升了 STB 和 RHP 基准上最先进 3D 手部姿态估计器的性能，在 STB 上实现了 0.999 AUC 的最先进水平。

ABSTRACT

Estimating the 3D hand pose from a monocular RGB image is important but challenging. A solution is training on large-scale RGB hand images with accurate 3D hand keypoint annotations. However, it is too expensive in practice. Instead, we have developed a learning-based approach to synthesize realistic, diverse, and 3D pose-preserving hand images under the guidance of 3D pose information. We propose a 3D-aware multi-modal guided hand generative network (MM-Hand), together with a novel geometry-based curriculum learning strategy. Our extensive experimental results demonstrate that the 3D-annotated images generated by MM-Hand qualitatively and quantitatively outperform existing options. Moreover, the augmented data can consistently improve the quantitative performance of the state-of-the-art 3D hand pose estimators on two benchmark datasets. The code will be available at https://github.com/ScottHoang/mm-hand.

研究动机与目标

• 为解决缺乏大规模真实世界数据集且带有精确 3D 手部姿态标注的问题，此类数据的收集成本高昂且耗时。
• 通过生成逼真、多样且保持 3D 姿态一致性的手部图像，弥合合成图像与真实手部图像之间的域差距。
• 通过在 3D 姿态监督下生成的合成数据进行数据增强，提升 3D 手部姿态估计器的泛化能力与性能。
• 通过多模态条件生成，克服手部生成中的特定领域挑战，如遮挡与手指的自相似性。
• 开发一种新颖的基于几何的课程学习策略，逐步增加训练难度，以提升模型收敛性与真实性。

提出的方法

• MM-Hand 采用基于 ResNet 的生成器与基于 Patch 的判别器的条件生成对抗网络（cGAN），根据 3D 手部姿态生成手部图像。
• 通过从 3D 手部姿态提取的轮廓图、深度图与注意力掩码，引入多模态引导，以增强生成图像的结构与外观保真度。
• 利用包含配对深度图与 3D 姿态的外部数据集，训练深度图生成器，从 3D 姿态合成逼真的深度监督信号。
• 提出一种新颖的基于几何的课程训练（GCT）策略，从简单的姿态-图像对开始，逐步增加复杂度，以提升训练稳定性和真实性。
• 推理阶段采用最近邻匹配（INNM）策略，选择与目标姿态最相似的生成图像，以增强姿态一致性。
• 该框架在 STB 与 RHP 数据集上进行训练与评估，使用合成数据对真实训练数据进行增强，以支持姿态估计任务。

实验结果

研究问题

• RQ1 仅基于 3D 手部姿态，生成模型能否生成逼真、多样且保持 3D 姿态一致性的手部图像？
• RQ2 引入多模态监督（轮廓、深度、注意力）是否能提升生成手部图像的真实感与姿态准确性？
• RQ3 基于几何的课程学习策略能否提升 3D 感知手部图像生成器的训练效果？
• RQ4 使用 MM-Hand 生成的图像进行数据增强，能否提升最先进 3D 手部姿态估计器的性能？
• RQ5 合成与真实手部图像之间的域差距在多大程度上影响姿态估计？该方法能否有效缓解这一问题？

主要发现

• 使用 MM-Hand 生成的数据进行训练的 Hand3D 姿态估计器在 RHP 数据集上达到 0.929 AUC，超越所有先前最先进方法。
• 在 STB 数据集上，增强后的模型达到 0.999 AUC，创下新的最先进性能，甚至优于现有最佳方法。
• 消融实验证实，多模态引导、注意力掩码、课程学习与 INNM 每一模块均持续提升了姿态估计性能。
• MM-Hand 生成的图像展现出强烈的视觉真实感与姿态一致性，定性结果表明手指定位准确且外观自然。
• 基于几何的课程训练策略显著提升了模型收敛性与泛化能力，尤其在训练初期表现突出。
• 该方法有效缓解了域差距，表现为在 RHP 与 STB 基准上使用增强合成数据后性能持续提升。