[论文解读] Fast and Robust Dynamic Hand Gesture Recognition via Key Frames Extraction and Feature Fusion

Hao Tang, Hong Liu+2 more|arXiv (Cornell University)|Jan 15, 2019

Hand Gesture Recognition Systems参考文献 60被引用 9

一句话总结

该论文提出了一种快速且鲁棒的动态手势识别框架，通过图像熵和密度聚类进行关键帧提取，并结合外观特征与运动特征的融合。该方法在西北大学数据集上实现了98.23% ± 0.84%的最先进准确率，在新的“野外”数据集上达到99.21% ± 0.88%的准确率，相较于先前方法显著降低了计算时间。

ABSTRACT

Gesture recognition is a hot topic in computer vision and pattern recognition, which plays a vitally important role in natural human-computer interface. Although great progress has been made recently, fast and robust hand gesture recognition remains an open problem, since the existing methods have not well balanced the performance and the efficiency simultaneously. To bridge it, this work combines image entropy and density clustering to exploit the key frames from hand gesture video for further feature extraction, which can improve the efficiency of recognition. Moreover, a feature fusion strategy is also proposed to further improve feature representation, which elevates the performance of recognition. To validate our approach in a "wild" environment, we also introduce two new datasets called HandGesture and Action3D datasets. Experiments consistently demonstrate that our strategy achieves competitive results on Northwestern University, Cambridge, HandGesture and Action3D hand gesture datasets. Our code and datasets will release at https://github.com/Ha0Tang/HandGestureRecognition.

研究动机与目标

• 为解决动态手势识别中速度与鲁棒性之间的平衡挑战。
• 通过仅从视频序列中提取关键帧而非处理所有帧，以减少计算开销。
• 通过有效融合外观与运动特征来提升识别性能。
• 在具有显著视觉杂波和运动噪声的真实世界、非受限环境中评估该方法。
• 发布新的数据集（HandGesture 和 Action3D）以用于‘野外’手势识别的基准测试。

提出的方法

• 使用图像熵量化每帧的信息含量，将帧熵值映射到二维空间以提取关键帧。
• 在熵曲线中识别局部极值点（峰值与谷值），以检测具有区分性的帧。
• 应用密度聚类将局部极值点分组，以聚类中心作为最终的关键帧。
• 利用深度卷积神经网络（如VGG-16）从关键帧中提取外观特征，同时从光流中提取运动特征。
• 采用早期或晚期融合技术将外观与运动特征进行融合，以增强表征能力。
• 使用支持向量机（SVM）对手势序列进行最终分类。

实验结果

研究问题

• RQ1 图像熵与密度聚类能否有效识别保留有区分性手势内容的代表性关键帧？
• RQ2 在复杂环境中，外观与运动线索的特征融合是否能提升识别的鲁棒性？
• RQ3 在标准数据集与新的‘野外’数据集上，该方法在准确率与速度方面与最先进方法相比如何？
• RQ4 该方法能否泛化到具有背景杂波与多余运动的真实世界、非受限场景？
• RQ5 在实际应用中，关键帧提取与识别流水线的计算效率如何？

主要发现

• 所提方法在西北大学数据集上达到98.23% ± 0.84%的准确率，优于先前的最先进方法。
• 在新的HandGesture数据集上，该方法达到99.21% ± 0.88%的准确率，表明其在非受限环境中的强大泛化能力。
• 在Action3D数据集上，该方法实现98.98% ± 0.65%的准确率，证实其对复杂场景与运动变化的鲁棒性。
• 完整流水线在Cambridge上处理测试序列耗时4.31秒，在西北大学上为10.89秒，在HandGesture上为13.06秒，在Action3D上为4.26秒，相比基线方法展现出更优的速度。
• 最耗时的组件是特征提取，可通过减小图像尺寸或使用GPU加速来提升效率。
• 在所有数据集上，该方法在准确率与推理速度方面均优于两种最先进基线方法（Liu和Shao [59]，Zhao和Elgammal [29]）。