[论文解读] Articulated Hand Pose Estimation Review

Emad Barsoum|arXiv (Cornell University)|Apr 21, 2016

Human Pose and Action Recognition参考文献 38被引用 20

一句话总结

本文综述了使用深度传感器进行关节手部姿态估计的最新进展，重点探讨了判别式、生成式及混合方法。研究识别出机器学习与基于模型拟合的结合是最具前景的处理流程，主要挑战包括实时性能、遮挡问题以及对大规模训练数据集的需求。

ABSTRACT

With the increase number of companies focusing on commercializing Augmented Reality (AR), Virtual Reality (VR) and wearable devices, the need for a hand based input mechanism is becoming essential in order to make the experience natural, seamless and immersive. Hand pose estimation has progressed drastically in recent years due to the introduction of commodity depth cameras. Hand pose estimation based on vision is still a challenging problem due to its complexity from self-occlusion (between fingers), close similarity between fingers, dexterity of the hands, speed of the pose and the high dimension of the hand kinematic parameters. Articulated hand pose estimation is still an open problem and under intensive research from both academia and industry. The 2 approaches used for hand pose estimation are: discriminative and generative. Generative approach is a model based that tries to fit a hand model to the observed data. Discriminative approach is appearance based, usually implemented with machine learning (ML) and require a large amount of training data. Recent hand pose estimation uses hybrid approach by combining both discriminative and generative methods into a single hand pipeline. In this paper, we focus on reviewing recent progress of hand pose estimation from depth sensor. We will survey discriminative methods, generative methods and hybrid methods. This paper is not a comprehensive review of all hand pose estimation techniques, it is a subset of some of the recent state-of-the-art techniques.

研究动机与目标

• 分析使用深度传感器进行关节手部姿态估计的最新进展。
• 比较手部姿态估计流程中判别式、生成式及混合方法的性能。
• 识别当前系统中的主要瓶颈，尤其是跟踪与初始化阶段。
• 强调建立大规模、公开可用的基准数据集与训练数据对提升性能的必要性。
• 提出未来研究方向，包括基于学习的初始化方法以及启发式参数的优化。

提出的方法

• 调研使用消费级深度传感器获取的RGB-D数据中手部姿态估计的最先进方法。
• 将方法分类为判别式（基于外观、机器学习驱动）、生成式（基于模型拟合）及混合式（结合两者使用）。
• 分别评估处理流程的各个阶段：分割、手部初始化与基于高维姿态空间优化的手部跟踪。
• 提出分阶段学习流程，采用端到端的粗到细回归方法以改善初始化效果。
• 探索基于内容的图像检索（CBIR）作为快速、离散的姿态初始化方法，以缩小跟踪阶段的搜索空间。
• 建议使用机器学习替代如PSO+GA等算法中的启发式参数。

实验结果

研究问题

• RQ1 在基于深度的手部姿态估计中，判别式、生成式及混合方法在准确率与效率方面如何比较？
• RQ2 当前手部姿态估计流程中的主要性能瓶颈是什么，尤其是在跟踪与初始化阶段？
• RQ3 机器学习在多大程度上可改善初始化阶段，从而降低对迭代优化的依赖？
• RQ4 大规模、高质量训练数据集的可用性对推进基于视觉的手部姿态估计有多关键？
• RQ5 结合基于外观的学习与基于模型拟合的混合流程，是否能在非约束条件下实现鲁棒且实时的性能？

主要发现

• 混合方法——即结合判别式学习与生成式模型拟合——代表了实现实时、鲁棒手部姿态估计最具前景的处理流程。
• 当前最先进方法在背景复杂度适中时可可靠估计单手姿态，但在双手交互与物体操作任务中仍表现不佳。
• 手部跟踪阶段是主要性能瓶颈，原因在于高维搜索空间以及渲染与代价函数评估的计算开销。
• 优化算法（如PSO+GA）中的启发式参数通常依赖直觉调优，可被学习得到的数据驱动替代方案取代以提升准确性。
• 涵盖全流程的大型、公开可用基准数据集对实现公平比较与推动领域发展至关重要。
• 基于机器学习的初始化方法，尤其是粗到细回归，展现出显著潜力，可减轻跟踪负担并提升整体系统稳定性。