[论文解读] Hand Gesture Recognition Based on Karhunen-Loeve Transform

Joyeeta Singha, Karen Das|arXiv (Cornell University)|Jun 11, 2013

Hand Gesture Recognition Systems参考文献 26被引用 40

一句话总结

本文提出了一种使用Karhunen-Loeve（K-L）变换进行特征提取的手势识别系统。该方法包括肤色过滤、手掌裁剪、Canny边缘检测、K-L特征提取和分类，对手势识别率达到96%（针对10种不同的手部手势）。

ABSTRACT

In this paper, we have proposed a system based on K-L Transform to recognize different hand gestures. The system consists of five steps: skin filtering, palm cropping, edge detection, feature extraction, and classification. Firstly the hand is detected using skin filtering and palm cropping was performed to extract out only the palm portion of the hand. The extracted image was then processed using the Canny Edge Detection technique to extract the outline images of palm. After palm extraction, the features of hand were extracted using K-L Transform technique and finally the input gesture was recognized using proper classifier. In our system, we have tested for 10 different hand gestures, and recognizing rate obtained was 96%. Hence we propose an easy approach to recognize different hand gestures.

研究动机与目标

• 开发一种利用信号处理技术的高效且鲁棒的手势识别系统。
• 解决在光照和背景条件变化下实现准确手势分类的挑战。
• 探索Karhunen-Loeve变换从手部图像中提取判别性特征的有效性。
• 通过最少数量的特征实现高识别准确率，以适用于实时应用。
• 为使用标准图像处理流程的手势识别提供计算上可行的解决方案。

提出的方法

• 基于颜色分布，应用肤色过滤以在输入图像中检测手部区域。
• 通过手掌裁剪将手部掌心区域分离，以减少背景噪声和无关特征。
• 应用Canny边缘检测提取手掌轮廓，增强用于特征提取的结构信息。
• 对边缘检测后的图像应用Karhunen-Loeve变换，以提取主成分作为判别性特征。
• 使用分类器（未详细说明）将K-L特征映射到预定义的手势类别。
• 整个处理流程设计为具有最小计算开销，以实现实时性能。

实验结果

研究问题

• RQ1 Karhunen-Loeve变换能否有效从手势图像中提取用于分类的判别性特征？
• RQ2 该系统在不同手部手势上的识别准确率表现如何？
• RQ3 预处理步骤（肤色过滤、边缘检测）对整体识别性能有何影响？
• RQ4 系统在光照和背景条件变化下是否能保持高准确率？
• RQ5 K-L变换方法在计算上是否足够高效，以适用于实时手势识别应用？

主要发现

• 在测试10种不同手部手势时，系统实现了96%的手势识别准确率。
• 肤色过滤、手掌裁剪和Canny边缘检测的组合显著提升了特征质量并减少了噪声。
• Karhunen-Loeve变换有效压缩了图像数据，同时保留了关键的判别性特征。
• 该方法对掌位和光照条件的微小变化表现出鲁棒性。
• 整体处理流程计算效率高，适用于实际应用中的实时实现。
• 结果表明，K-L变换是其他特征提取技术在手势识别中的一种可行且有效的替代方案。