[论文解读] Hands Deep in Deep Learning for Hand Pose Estimation

Markus Oberweger, Paul Wohlhart+1 more|arXiv (Cornell University)|Feb 24, 2015

Hand Gesture Recognition Systems参考文献 28被引用 322

一句话总结

该论文提出了一种用于从深度图进行3D手部姿态估计的深度学习架构，整合了学习到的3D姿态先验和使用不同池化大小的重叠块的多尺度精炼阶段。该方法在NYU和ICVL基准测试中实现了最先进（SOTA）的精度，同时在GPU上推理速度超过5,000 fps，显著优于以往工作，在速度和定位精度方面均有大幅提升。

ABSTRACT

We introduce and evaluate several architectures for Convolutional Neural Networks to predict the 3D joint locations of a hand given a depth map. We first show that a prior on the 3D pose can be easily introduced and significantly improves the accuracy and reliability of the predictions. We also show how to use context efficiently to deal with ambiguities between fingers. These two contributions allow us to significantly outperform the state-of-the-art on several challenging benchmarks, both in terms of accuracy and computation times.

研究动机与目标

• 通过深度学习提升从深度图进行3D手部姿态估计的精度。
• 解决手部姿态估计中自遮挡、自相似性以及噪声深度数据等挑战。
• 设计一种CNN架构，有效整合姿态先验和上下文信息，实现鲁棒的关键点定位。
• 在不牺牲精度的前提下实现高推理速度，支持实时应用。
• 在标准基准测试中，超越现有方法，在精度和计算效率两方面均表现更优。

提出的方法

• 通过在瓶颈层中使用比前序层更少神经元的方式，将学习到的3D手部姿态先验整合到CNN架构中，强制预测姿态的结构一致性。
• 采用基于多个以初始关键点估计为中心的重叠输入块的精炼阶段，通过不同大小的池化区域实现分辨率与上下文信息之间的平衡。
• 对小输入块使用较小的池化区域，以保留细粒度的空间精度；对大块则使用较大的池化区域，以捕捉上下文信息。
• 采用分层回归方法，网络首先预测粗略的关键点位置，然后利用局部特征进行精炼。
• 使用端到端反向传播进行网络训练，损失函数为3D关键点坐标的均方误差。
• 在Theano中实现模型并启用GPU加速，实现单GPU上超过5,000 fps的实时推理速度。

实验结果

研究问题

• RQ1 能否有效将学习到的3D姿态先验整合进CNN中，以提升3D手部姿态估计的精度？
• RQ2 在精炼阶段中，如何高效利用上下文信息以解决深度图中手指之间的歧义？
• RQ3 何种CNN架构能在3D手部姿态估计中实现精度与推理速度的最佳权衡？
• RQ4 使用可变池化大小的多尺度重叠块是否能提升精炼阶段的定位精度？
• RQ5 在标准基准测试中，该方法与最先进方法相比，在精度和速度方面表现如何？

主要发现

• 所提出的Deep-Prior-ORRef架构在NYU和ICVL数据集上均实现了最低的平均关键点误差，分别为5.2 mm和5.5 mm。
• 该方法在单个GPU上推理速度超过5,000 fps，在CPU上超过500 fps，速度相比以往工作高出一个数量级。
• 姿态先验的引入显著降低了预测误差，提升了鲁棒性，尤其在部分深度遮挡情况下表现更优。
• 采用重叠块的多尺度精炼阶段显著提升了定位精度，通过结合高分辨率细节与上下文线索实现。
• 由于全局姿态先验的存在，即使在深度数据缺失或噪声较大的情况下，模型仍能保持手部拓扑结构。
• 该方法在精度和推理速度两方面均优于最先进方法，如Tompson et al. [26] 和 Tang et al. [22]。