[论文解读] DeepHPS: End-to-end Estimation of 3D Hand Pose and Shape by Learning from Synthetic Depth

Jameel Malik, Ahmed Elhayek+5 more|arXiv (Cornell University)|Aug 28, 2018

Human Pose and Action Recognition参考文献 47被引用 5

一句话总结

本文提出 DeepHPS，一种端到端的深度学习框架，通过在卷积神经网络中嵌入一种新型的手部姿态与形状层（HPSL），联合从单张深度图像估计3D手部姿态与形状。该方法利用大规模合成数据集 SynHand5M（500万张图像）在 NYU 和 ICVL 基准测试中实现了最先进性能，微调后分别达到 14.2mm 和 9.1mm 的 3D 关节位置误差。

ABSTRACT

Articulated hand pose and shape estimation is an important problem for vision-based applications such as augmented reality and animation. In contrast to the existing methods which optimize only for joint positions, we propose a fully supervised deep network which learns to jointly estimate a full 3D hand mesh representation and pose from a single depth image. To this end, a CNN architecture is employed to estimate parametric representations i.e. hand pose, bone scales and complex shape parameters. Then, a novel hand pose and shape layer, embedded inside our deep framework, produces 3D joint positions and hand mesh. Lack of sufficient training data with varying hand shapes limits the generalized performance of learning based methods. Also, manually annotating real data is suboptimal. Therefore, we present SynHand5M: a million-scale synthetic dataset with accurate joint annotations, segmentation masks and mesh files of depth maps. Among model based learning (hybrid) methods, we show improved results on our dataset and two of the public benchmarks i.e. NYU and ICVL. Also, by employing a joint training strategy with real and synthetic data, we recover 3D hand mesh and pose from real images in 3.7ms.

研究动机与目标

• 解决在不同手部形状、视角和遮挡条件下泛化 3D 手部姿态与形状估计的挑战。
• 克服真实世界数据集在形状变化方面稀缺且大规模标注成本高昂的局限。
• 开发一种统一的深度学习框架，联合优化 3D 关节位置、手部网格和形状参数。
• 通过将运动学和几何约束整合到端到端可训练网络中，提升混合模型驱动与判别式方法的性能。
• 即使在深度缺失和遮挡条件下，也能实现对真实深度图像的鲁棒推理。

提出的方法

• 提出一种新型可微分手部姿态与形状层（HPSL），利用姿态和骨骼缩放参数执行正向运动学计算。
• 将可变形手部模型与形状参数及形变目标结合，以重建 3D 手部网格。
• 应用线性混合蒙皮技术，根据估计的关节约位置和形状参数对 3D 手部表面进行动画处理。
• 使用卷积神经网络端到端训练整个网络，从单张深度图像回归手部姿态、骨骼缩放和形状参数。
• 利用 SynHand5M 合成数据集——包含 500 万张具有精确真实值的深度图像，涵盖关节约、网格和分割信息——进行监督训练。
• 采用联合训练策略，在真实数据集（NYU、ICVL）上对预训练模型进行微调，以提升在真实数据上的泛化能力。

实验结果

研究问题

• RQ1 深度学习框架能否在多样化手部形状下，仅从单张深度图像高精度且泛化良好地联合估计 3D 手部姿态与形状？
• RQ2 大规模形状与视角变化的合成数据集在提升 3D 手部估计模型泛化能力方面有多有效？
• RQ3 嵌入可微分手部模型层（HPSL）并强制施加运动学与几何约束，相较于标准回归方法，性能提升程度如何？
• RQ4 在合成数据上预训练的模型能否有效泛化到真实世界深度图像，尤其是在遮挡和深度缺失情况下？
• RQ5 通过端到端学习联合优化姿态、形状与网格重建，是否优于现有的混合或判别式方法？

主要发现

• 微调后的 DeepHPS 模型在 NYU 数据集上达到 14.2mm 的 3D 关节位置误差，优于最先进混合方法。
• 在 ICVL 基准测试中，微调后的 DeepHPS 模型实现 9.1mm 的 3D 关节位置误差，较基线提升 10.12%。
• 该模型在真实深度图像上泛化良好，即使在深度缺失和手指遮挡情况下，仍能生成合理可信的 3D 手部网格。
• SynHand5M 数据集显著提升了性能，模型在合成基准上实现 6.3mm 的 3D 关节误差和 11.8mm 的顶点误差。
• HPSL 层成功施加了物理与运动学约束，使 3D 手部网格预测更加真实且一致。
• 在真实与合成数据上联合训练提升了模型的鲁棒性与准确性，证明了合成数据在减小域差距方面的有效性。