[论文解读] End-to-end Global to Local CNN Learning for Hand Pose Recovery in Depth Data

Meysam Madadi, Sérgio Escalera+2 more|arXiv (Cornell University)|May 26, 2017

Human Pose and Action Recognition参考文献 27被引用 46

一句话总结

该论文提出了一种分层树状结构的CNN，用于学习单根手指和手部区域的局部手势姿态表征，并端到端地融合这些表征以建模关节之间的依赖关系。通过在损失函数中引入物理和外观约束，并使用非刚性数据增强，该方法在NYU数据集上将平均3D误差降低了4.6mm，达到了当前最优性能。

ABSTRACT

Despite recent advances in 3D pose estimation of human hands, especially thanks to the advent of CNNs and depth cameras, this task is still far from being solved. This is mainly due to the highly non-linear dynamics of fingers, which make hand model training a challenging task. In this paper, we exploit a novel hierarchical tree-like structured CNN, in which branches are trained to become specialized in predefined subsets of hand joints, called local poses. We further fuse local pose features, extracted from hierarchical CNN branches, to learn higher order dependencies among joints in the final pose by end-to-end training. Lastly, the loss function used is also defined to incorporate appearance and physical constraints about doable hand motion and deformation. Finally, we introduce a non-rigid data augmentation approach to increase the amount of training depth data. Experimental results suggest that feeding a tree-shaped CNN, specialized in local poses, into a fusion network for modeling joints correlations and dependencies, helps to increase the precision of final estimations, outperforming state-of-the-art results on NYU and SyntheticHand datasets.

研究动机与目标

• 解决在自遮挡、噪声和复杂手指动态条件下，深度图像中准确进行3D手势姿态估计的挑战。
• 通过将姿态估计任务分解为针对手指和手部区域的局部化、专业化子任务，克服全局回归模型的局限性。
• 通过引入一种非刚性数据增强技术来提升模型的泛化能力和鲁棒性。
• 通过设计一种损失函数，强制实现物理合理性与外观一致性，从而提升最终姿态估计的准确性。

提出的方法

• 设计一种树状CNN架构，其中每个分支专门负责预测预定义的手部关节子集（局部姿态），以实现局部特征学习。
• 使用全连接层将分层CNN分支的特征进行融合，以端到端可训练的方式建模关节之间的高阶依赖关系。
• 定义一个复合损失函数，结合L2损失与物理和外观约束，以惩罚不现实的手部构型并提升泛化能力。
• 提出一种非刚性数据增强方法，通过运动学参数和插值对真实手部关节进行变形，从原始深度数据中生成更真实的训练样本。
• 使用反向传播端到端训练整个网络，实现局部与全局姿态估计的联合优化。
• 引入视角回归头以提升手掌关节的定位精度，并将其特征融合到最终的姿态预测中。

实验结果

研究问题

• RQ1 与全局回归模型相比，采用针对局部手部区域的专用分支的分层CNN结构是否能提升3D手势姿态估计的准确性？
• RQ2 通过全局融合网络融合局部特征，是否能增强关节依赖关系的建模并提升最终姿态估计性能？
• RQ3 损失函数中引入的物理和外观约束，在高度非线性的手部构型下，能在多大程度上减少不现实的姿态预测？
• RQ4 基于运动学变形的非刚性数据增强方法，是否能提升模型在未见深度数据上的泛化能力和性能表现？
• RQ5 在基准数据集上，该方法与当前最先进方法相比，其平均3D误差和成功率如何？

主要发现

• 该方法在NYU数据集上实现了11.0mm的平均3D误差，相比之前最先进方法降低了4.6mm。
• 在MSRA数据集上，该方法实现了9.7mm的平均误差，优于先前方法如DeepPrior++（9.5mm），并达到现有最佳方法的水平。
• 非刚性数据增强技术显著提升了NYU数据集上的性能，相比基线训练方式将平均误差降低了4.6mm。
• 定性结果表明，关节定位效果得到改善，尤其在复杂姿态下，融合网络能有效结合局部与全局线索。
• 该方法在噪声和挑战性视角下表现出鲁棒性，尤其在SyntheticHand数据集上，平均误差仅为3.94mm。
• 尽管在MSRA数据集上训练过程中出现一定发散现象，但该方法在使用标准增强策略时仍取得了优异性能，表明其对标注不准确具有较强鲁棒性。