[论文解读] Depth image hand tracking from an overhead perspective using partially labeled, unbalanced data: Development and real-world testing

Stephen Czarnuch, Alex Mihailidis|arXiv (Cornell University)|Sep 6, 2014

Video Surveillance and Tracking Methods参考文献 21被引用 10

一句话总结

本文提出了一种基于深度图像的手部追踪系统，用于在COACH提示系统中进行俯视监控，采用在5,000张部分标注、不平衡的深度图像上训练的随机决策森林分类器。通过在特征空间中寻找众数来识别手部位置，并将其映射到任务动作；在24,000张标注图像上进行了验证，尽管存在数据不平衡和部分标注问题，仍实现了稳健的现实世界性能。

ABSTRACT

We present the development and evaluation of a hand tracking algorithm based on single depth images captured from an overhead perspective for use in the COACH prompting system. We train a random decision forest body part classifier using approximately 5,000 manually labeled, unbalanced, partially labeled training images. The classifier represents a random subset of pixels in each depth image with a learned probability density function across all trained body parts. A local mode-find approach is used to search for clusters present in the underlying feature space sampled by the classified pixels. In each frame, body part positions are chosen as the mode with the highest confidence. User hand positions are translated into hand washing task actions based on proximity to environmental objects. We validate the performance of the classifier and task action proposals on a large set of approximately 24,000 manually labeled images.

研究动机与目标

• 开发一种用于辅助提示环境实时监控的鲁棒手部追踪系统。
• 解决在俯视手部追踪中，部分标注和不平衡深度图像数据带来的挑战。
• 在洗手情境中，将追踪到的手部位置映射到有意义的任务动作。
• 在包含24,000张图像的大规模人工标注数据集上验证系统性能。

提出的方法

• 在约5,000张带有部分且不平衡人工标注的深度图像上训练随机决策森林，以建模身体各部位的像素级概率密度函数。
• 每张深度图像通过训练好的随机森林对像素子集进行分类，每个像素被分配一个在身体部位上的概率分布。
• 采用局部众数查找算法，在分类像素的特征空间中识别聚类，以定位身体部位。
• 在每一帧中，选择置信度最高的众数作为追踪位置。
• 根据手部位置与场景中环境物体的接近程度，将手部位置转换为任务动作。
• 使用约24,000张人工标注的测试集对系统进行评估，以衡量追踪和动作建议的准确性。

实验结果

研究问题

• RQ1 当训练数据为部分标注且不平衡时，如何有效实现从俯视深度图像中进行手部追踪？
• RQ2 在数据不平衡的情况下，随机决策森林分类器能否可靠地建模像素级身体部位概率？
• RQ3 在真实环境中，追踪到的手部位置能多准确地映射到与任务相关联的动作？
• RQ4 众数查找方法在噪声较大、真实世界的深度数据中识别主导手部位置方面的表现如何？

主要发现

• 尽管训练集中存在显著的数据不平衡和部分标注问题，系统仍实现了可靠的追踪性能。
• 众数查找方法在每一帧中成功识别出具有高置信度的主导手部位置。
• 该分类器仅使用5,000张训练图像，即表现出对身体部位概率密度函数估计的鲁棒性。
• 基于与物体的空间接近程度，动作建议系统能够高精度地将手部位置映射到与任务相关联的动作。
• 在24,000张标注图像上的验证结果证实了该系统在真实世界部署场景中的有效性。