[论文解读] Statistical and Spatio-temporal Hand Gesture Features for Sign Language Recognition using the Leap Motion Sensor

Jordan J. Bird|arXiv (Cornell University)|Feb 22, 2022

Hand Gesture Recognition Systems被引用 7

一句话总结

本研究提出了一种基于Leap Motion传感器的混合特征提取方法，用于手语识别，通过结合统计特征与时空特征，提升手势分类性能。表现最佳的模型使用了240个统计特征和240个时空特征，准确率达到86.75%，表明在动态手语识别中，融合特征集优于单一特征方法。

ABSTRACT

In modern society, people should not be identified based on their disability, rather, it is environments that can disable people with impairments. Improvements to automatic Sign Language Recognition (SLR) will lead to more enabling environments via digital technology. Many state-of-the-art approaches to SLR focus on the classification of static hand gestures, but communication is a temporal activity, which is reflected by many of the dynamic gestures present. Given this, temporal information during the delivery of a gesture is not often considered within SLR. The experiments in this work consider the problem of SL gesture recognition regarding how dynamic gestures change during their delivery, and this study aims to explore how single types of features as well as mixed features affect the classification ability of a machine learning model. 18 common gestures recorded via a Leap Motion Controller sensor provide a complex classification problem. Two sets of features are extracted from a 0.6 second time window, statistical descriptors and spatio-temporal attributes. Features from each set are compared by their ANOVA F-Scores and p-values, arranged into bins grown by 10 features per step to a limit of the 250 highest-ranked features. Results show that the best statistical model selected 240 features and scored 85.96% accuracy, the best spatio-temporal model selected 230 features and scored 80.98%, and the best mixed-feature model selected 240 features from each set leading to a classification accuracy of 86.75%. When all three sets of results are compared (146 individual machine learning models), the overall distribution shows that the minimum results are increased when inputs are any number of mixed features compared to any number of either of the two single sets of features.

研究动机与目标

• 研究统计特征与时空手势特征对手语识别准确率的影响。
• 比较仅使用统计特征、仅使用时空特征或两者结合的模型在分类性能上的差异。
• 利用方差分析F统计量与p值，确定每类特征的最优数量，以提升模型泛化能力。
• 评估特征融合是否在动态手势识别中相比单一特征方法，能提升模型的鲁棒性与准确率。

提出的方法

• 从0.6秒的手势数据时间窗中提取统计特征，捕捉位置与速度的均值、方差及高阶矩。
• 从轨迹动态中提取时空特征，包括加速度、曲率及手势运动的时间演变模式。
• 通过方差分析F统计量与p值进行特征选择，对特征进行排序，并基于显著性从每类中选择最多250个特征。
• 使用选定特征的组合训练了总共146个机器学习模型，以随机森林作为基础分类器，因其具备良好的泛化性能。
• 采用10折交叉验证评估模型，指标包括准确率、精确率、召回率与F1分数。
• 通过早期融合方式实现特征融合，即在模型训练前将统计特征与时空特征进行拼接。

实验结果

研究问题

• RQ1 在使用Leap Motion数据识别动态手语手势时，统计特征与时空特征的分类表现如何比较？
• RQ2 每类特征（统计特征与时空特征）的最优特征数量是多少，可使分类准确率达到最大？
• RQ3 将统计特征与时空特征结合是否能带来优于单独使用任一特征集的性能表现？
• RQ4 特征融合如何影响模型的稳定性与鲁棒性，以交叉验证得分的标准差衡量？
• RQ5 基于方差分析F统计量的特征选择对模型性能与计算复杂度有何影响？

主要发现

• 表现最佳的模型使用了240个统计特征与240个时空特征，平均准确率达到86.75%，F1分数为0.867。
• 仅使用统计特征的模型准确率为85.96%，优于纯时空特征模型的80.98%，表明统计特征在此数据集中更具判别力。
• 在混合特征组合中，表现最差的模型仍优于仅使用单一特征类型的最差模型，表明融合能提升整体鲁棒性。
• 在表现最佳的10个模型中，有7个为混合模型，第8名也是纯统计特征模型，表明混合特征能持续提供更优结果。
• 最佳混合模型的标准差为0.90，高于最佳纯统计特征模型的0.51，表明在提升准确率的同时，也存在准确率与稳定性之间的权衡。