[论文解读] Hand Gesture Recognition with Leap Motion

Youchen Du, Shenglan Liu+3 more|arXiv (Cornell University)|Nov 12, 2017

Hand Gesture Recognition Systems参考文献 11被引用 10

一句话总结

该论文提出了一种基于Leap Motion控制器的高精度手势识别系统，通过融合追踪数据中的手势姿态特征与传感器图像的HOG特征实现。通过引入一种新型的指尖尖端距离（T）特征，并采用基于PCA的降维加权特征融合方法，该模型在包含13名受试者、共2,600个样本的10种手势自定义数据集上实现了99.62%的准确率。

ABSTRACT

The recent introduction of depth cameras like Leap Motion Controller allows researchers to exploit the depth information to recognize hand gesture more robustly. This paper proposes a novel hand gesture recognition system with Leap Motion Controller. A series of features are extracted from Leap Motion tracking data, we feed these features along with HOG feature extracted from sensor images into a multi-class SVM classifier to recognize performed gesture, dimension reduction and feature weighted fusion are also discussed. Our results show that our model is much more accurate than previous work.

研究动机与目标

• 开发一种利用Leap Motion高精度深度追踪能力的鲁棒手势识别系统。
• 通过引入一种新特征——指尖尖端距离（T）特征，解决先前研究的局限性，以提升识别准确率。
• 评估将传感器图像中的HOG特征与追踪数据特征相结合以增强分类性能的有效性。
• 通过加权系数与基于PCA的降维方法优化特征融合。
• 建立一个公开可用的新手势数据集，包含2,600个样本，用于未来研究的基准测试。

提出的方法

• 从Leap Motion的3D追踪数据中提取一组基于姿态的特征（A、D、E、T），其中T为所提出的指尖尖端距离特征。
• 从Leap Motion传感器生成二值化且无畸变的图像，并提取HOG特征以捕捉基于梯度的纹理模式。
• 通过将HOG特征乘以系数K=1至9进行加权特征融合，并与追踪特征（A+D+T）结合。
• 使用主成分分析（PCA）进行降维，同时保留80%的特征方差。
• 采用网格搜索优化超参数（C和γ）的一对一多分类RBF-SVM分类器进行手势分类。
• 执行50次随机训练-测试划分（80/20）与10折交叉验证，以确保对模型性能的稳健评估。

实验结果

研究问题

• RQ1 与现有追踪特征相比，所提出的指尖尖端距离（T）特征在手势识别准确率方面有何提升？
• RQ2 将Leap Motion传感器图像中提取的HOG特征与追踪数据特征融合后，对分类性能的提升程度如何？
• RQ3 在融合特征向量中，HOG特征的最优加权系数K应为多少，以实现最高准确率？
• RQ4 基于PCA的降维方法在减少特征空间的同时，对保持高准确率的有效性如何？
• RQ5 所提出的系统能否在使用Leap Motion采集的新大规模手势数据集上实现最先进性能？

主要发现

• 与先前特征集（A+D+E）相比，指尖尖端距离（T）特征在Marin等人原始数据集及作者自建数据集上均使识别准确率提升超过1%。
• 仅使用HOG特征即达到96.15%的准确率，显著优于仅使用追踪特征的结果，证明了基于图像的梯度特征具有重要价值。
• 将A+D+T与5倍加权的HOG特征融合后，准确率达到98.08%，表明特征融合能显著提升性能。
• HOG特征的最优加权系数为K=4或K=5，此时即使经过60%的PCA降维，模型仍保持高准确率。
• 在A+D+T+5倍HOG特征集上应用PCA以保留80%方差后，模型在作者数据集上实现了99.42%的最高报告准确率。
• 最佳模型（A+D+T+5倍HOG+80% PCA）的混淆矩阵显示误分类极少，证实了其高度的鲁棒性与泛化能力。