[论文解读] Depth-based hand pose estimation: methods, data, and challenges

James Steven Supančič, Grégory Rogez+3 more|arXiv (Cornell University)|Apr 24, 2015

Human Pose and Action Recognition参考文献 35被引用 18

一句话总结

本文对基于深度的双手姿态估计进行了全面的基准测试研究，引入了一个新颖且具有挑战性的数据集，包含杂乱的现实场景，并提出了一种简单的3D最近邻样本基线方法，其性能优于大多数现有方法。主要贡献在于表明，与模型架构相比，训练数据的多样性与真实感同样关键；该最近邻基线方法揭示了当前许多系统实际上主要依赖于对训练数据的记忆而非有效泛化。

ABSTRACT

Hand pose estimation has matured rapidly in recent years. The introduction of commodity depth sensors and a multitude of practical applications have spurred new advances. We provide an extensive analysis of the state-of-the-art, focusing on hand pose estimation from a single depth frame. To do so, we have implemented a considerable number of systems, and will release all software and evaluation code. We summarize important conclusions here: (1) Pose estimation appears roughly solved for scenes with isolated hands. However, methods still struggle to analyze cluttered scenes where hands may be interacting with nearby objects and surfaces. To spur further progress we introduce a challenging new dataset with diverse, cluttered scenes. (2) Many methods evaluate themselves with disparate criteria, making comparisons difficult. We define a consistent evaluation criteria, rigorously motivated by human experiments. (3) We introduce a simple nearest-neighbor baseline that outperforms most existing systems. This implies that most systems do not generalize beyond their training sets. This also reinforces the under-appreciated point that training data is as important as the model itself. We conclude with directions for future progress.

研究动机与目标

• 为解决基于深度的手部姿态估计中缺乏一致的评估标准和测试集分散的问题，这些问题阻碍了方法之间的可靠比较。
• 识别并诊断真实世界中手部姿态估计的关键挑战，特别是存在物体与表面交互的杂乱场景中的问题。
• 评估训练数据质量与多样性对模型性能的影响，挑战‘模型架构是决定性能的主要因素’这一假设。
• 引入一个全新、真实且具有挑战性的基准测试数据集，以推动未来野外环境手部姿态估计的发展。
• 通过使用3D体积分量（最近邻）构建一个强大而简单的基线，以更好地理解泛化能力与模型行为。

提出的方法

• 作者在四个测试集上统一实施并评估了13种最先进手部姿态估计系统，采用基于人类表现研究的人工验证评估协议。
• 他们提出了一种基于3D最近邻（NN）的基线方法，利用3D扫描窗口内的体积分量，将测试帧与最相似的训练样本进行匹配。
• 该NN基线方法无需复杂训练，仅依赖于测试样本与训练样本之间3D深度体积分量的相似性。
• 创建了一个新数据集，具有多样性与挑战性，以反映真实世界条件，包括远距离手部、杂乱环境、遮挡以及与物体的交互。
• 作者进行了广泛的跨数据集评估，即在一个数据集上训练模型并在另一个数据集上测试，以评估泛化能力与数据依赖性。
• 性能评估采用一致的指标，包括平均误差与最大误差，并以人类标注者间的一致性作为性能上限。

实验结果

研究问题

• RQ1 在统一的人工基准评估协议下，当前基于深度的手部姿态估计方法表现如何？
• RQ2 现有方法在训练数据之外的泛化能力有多强？与简单的最近邻基线相比如何？
• RQ3 训练数据的变化（尤其是真实感、多样性与规模）对模型性能的影响，与架构选择（如决策森林与深度神经网络）相比如何？
• RQ4 真实世界、野外环境下的手部姿态估计中，当前方法仍未能解决的关键挑战是什么？
• RQ5 人类表现与机器表现相比如何？这对基准设计与标注质量有何启示？

主要发现

• 使用3D样本的最近邻基线方法在性能上优于或匹配了大多数现有最先进系统，表明当前许多方法严重依赖于对训练数据的记忆。
• 由于训练数据差异（如合成数据与真实数据、数据多样性）导致的性能差异，往往超过因模型架构差异（如决策森林与深度神经网络）导致的差异。
• 新提出的UCI-EGO测试集，包含第一视角、杂乱且远距离的手部，比以往数据集更具挑战性，没有任何方法在任何帧上实现50mm以内的准确姿态估计。
• 即使人类标注者在20%的情况下对姿态标注存在分歧，原因包括遮挡与低分辨率，这设定了实际可达到性能的上限。
• 深度模型如DeepPrior与DeepJoint显著优于1-NN基线，表明尽管记忆能力很强，但通过深度架构实现泛化依然至关重要。
• 在新测试集上的性能随合成训练集规模的对数增长，但实际限制由计算成本与模型复杂性引起。