[论文解读] Depth-Based 3D Hand Pose Estimation: From Current Achievements to Future Goals

Shanxin Yuan, Guillermo Garcia-Hernando+22 more|arXiv (Cornell University)|Dec 11, 2017

Hand Gesture Recognition Systems参考文献 47被引用 6

一句话总结

本文评估了2017年Hands In the Million挑战赛中排名前10的算法，以分析基于深度的3D手部姿态估计在单帧估计、跟踪以及手物交互任务中的现状。研究发现，3D体素卷积神经网络（CNN）优于2D CNN，显式建模关节结构可减少遮挡相关误差；尽管在中等视角下平均误差已降至约10 mm，但在极端视角下性能显著下降，且对未见手部形状的泛化能力较差。

ABSTRACT

In this paper, we strive to answer two questions: What is the current state of 3D hand pose estimation from depth images? And, what are the next challenges that need to be tackled? Following the successful Hands In the Million Challenge (HIM2017), we investigate the top 10 state-of-the-art methods on three tasks: single frame 3D pose estimation, 3D hand tracking, and hand pose estimation during object interaction. We analyze the performance of different CNN structures with regard to hand shape, joint visibility, view point and articulation distributions. Our findings include: (1) isolated 3D hand pose estimation achieves low mean errors (10 mm) in the view point range of [70, 120] degrees, but it is far from being solved for extreme view points; (2) 3D volumetric representations outperform 2D CNNs, better capturing the spatial structure of the depth data; (3) Discriminative methods still generalize poorly to unseen hand shapes; (4) While joint occlusions pose a challenge for most methods, explicit modeling of structure constraints can significantly narrow the gap between errors on visible and occluded joints.

研究动机与目标

• 使用大规模基准数据集评估基于深度的3D手部姿态估计当前技术水平。
• 识别单帧估计、跟踪以及手物交互任务中的性能瓶颈。
• 评估方法在不同视角、手部形状和遮挡水平下的泛化能力。
• 研究网络架构、数据表示和空间建模对估计精度的影响。
• 通过识别在泛化、遮挡和极端视角方面尚未解决的挑战，为未来研究提供指导。

提出的方法

• 在三个任务上评估了HIM2017挑战赛中10种最先进方法：单帧姿态估计、3D手部跟踪和手物交互。
• 使用结合BigHand2.2M与FHAD的大规模数据集，包含超过一百万张深度图像，每帧标注21个关节。
• 对比2D与3D CNN架构，发现3D体素表示在捕捉空间结构方面表现更优。
• 通过分析不同视角范围、关节可见性及手部形状变化下的误差分布，识别失败模式。
• 采用基于检测与回归的方法，比较引入与不引入显式空间约束时的性能表现。
• 评估手部分割技术（包括基于CNN与图像处理的方法）对手物交互任务准确率的影响。

实验结果

研究问题

• RQ1 在不同视角角度和遮挡水平下，2D与3D CNN架构的表现如何？
• RQ2 当前方法在未见手部形状和极端视角下的泛化能力如何？
• RQ3 显式空间与结构约束在减少被遮挡关节误差方面有多有效？
• RQ4 可见关节与被遮挡关节之间的性能差距有多大？能否通过建模关节关系来缓解？
• RQ5 为何方法在手物交互任务中表现不佳？哪些设计选择能提升此类场景下的鲁棒性？

主要发现

• 使用3D CNN的3D体素表示在捕捉深度数据的空间结构方面优于2D CNN。
• 在视角范围[70°, 120°]内，孤立的3D手部姿态估计平均误差为10 mm，但在极端视角（如[0°, 10°]）下性能显著下降。
• 采用显式空间约束（如骨骼结构建模）的回归方法在被遮挡关节上的表现优于未使用此类约束的方法。
• 判别式方法对未见手部形状的泛化能力较差，当前的数据增强或尺度估计技术未能充分建模局部形状差异。
• 在手物交互任务中，通过手部分割显式处理遮挡（如基于CNN的方法）的误差更低（25.0 mm），而使用图像处理方法的误差为29.2 mm。
• 结合检测与姿态估计的跟踪方法（如RCN-3D_track）优于仅依赖检测或仅依赖姿态估计的方法，尤其在多人及复杂场景中表现更优。