[论文解读] Model-based Deep Hand Pose Estimation

Xingyi Zhou, Qingfu Wan+3 more|arXiv (Cornell University)|Jun 22, 2016

Hand Gesture Recognition Systems参考文献 16被引用 83

一句话总结

本文提出了一种新颖的端到端深度学习框架，用于手部姿态估计，通过集成可微分的、无参数的前向运动学层，以确保预测关节点位置的几何有效性。通过将3D手部模型的非线性运动学约束直接嵌入网络，该方法在NYU和ICVL数据集上实现了最先进性能，且无需后处理优化，从一开始就确保了物理上合理的姿态。

ABSTRACT

Previous learning based hand pose estimation methods does not fully exploit the prior information in hand model geometry. Instead, they usually rely a separate model fitting step to generate valid hand poses. Such a post processing is inconvenient and sub-optimal. In this work, we propose a model based deep learning approach that adopts a forward kinematics based layer to ensure the geometric validity of estimated poses. For the first time, we show that embedding such a non-linear generative process in deep learning is feasible for hand pose estimation. Our approach is verified on challenging public datasets and achieves state-of-the-art performance.

研究动机与目标

• 解决基于学习的手部姿态估计方法因忽略运动学约束而导致几何无效姿态的问题。
• 通过将手部模型的生成过程直接嵌入网络，消除对单独且次优的后处理步骤（如逆向运动学）的需求。
• 实现利用非线性手部模型几何结构提升姿态准确性和有效性的深度神经网络端到端训练。
• 证明可微分的非线性前向运动学可有效集成到深度学习中，用于刚性姿态估计。

提出的方法

• 引入一种可微分的、无参数的前向运动学层，利用齐次变换矩阵将关节点角度映射为3D关节点坐标。
• 使用树状结构的运动学链，通过沿骨骼依次应用旋转和变换矩阵来计算每个关节点的位置。
• 采用标准反向传播进行端到端训练，使用关节点位置损失和对中间姿态表示的附加正则化损失。
• 在全连接层之后应用前向运动学层，将预测的关节点角度转换为3D关节点坐标。
• 使用4×4齐次矩阵实现变换，其中旋转和位移由关节点角度和骨骼长度参数化。
• 通过在链中用特定关节点的旋转矩阵导数替换其旋转矩阵，推导关节点位置相对于关节点角度的梯度。

实验结果

研究问题

• RQ1 非线性、可微分的前向运动学层能否有效集成到深度神经网络中，以实现端到端的手部姿态估计？
• RQ2 将3D手部模型的几何约束直接嵌入网络，是否能相比标准基于学习的方法提升姿态准确性和有效性？
• RQ3 所提出的方法能否优于依赖后处理或线性姿态先验的最先进方法？
• RQ4 在中间姿态表示上引入正则化损失，对最终性能有何影响？

主要发现

• 所提方法在NYU数据集上实现了最先进性能，优于此前方法（包括Tompson et al. (2014) 和 Oberweger et al. (2015a)），并匹配到最佳性能的反馈循环方法（Oberweger et al. 2015b）。
• 在ICVL数据集上，该方法显著优于Tang et al. (2014)，并达到与Oberweger et al. (2015a) 相当的性能，尽管该数据集存在噪声标注且视角变化有限。
• 在中间姿态表示上添加正则化损失，显著提升了估计姿态的准确性和几何有效性。
• 使用可微分前向运动学层实现了端到端训练，能够生成几何有效的姿态，无需后处理优化。
• 该方法表明，非线性运动学约束可有效嵌入深度学习框架，从而实现更准确且物理上合理的手部姿态估计。