[论文解读] A new approach for digit recognition based on hand gesture analysis

Ahmed Ben Jmaa, Walid Mahdi+2 more|ArXiv.org|Jun 27, 2009

Hand Gesture Recognition Systems参考文献 13被引用 11

一句话总结

本文提出了一种基于手势的数字识别新系统，通过手部图像分析，聚焦于手指位置、高度及指间距离等特征。结合模糊肤色检测、基于解剖学约束的手指提取方法，以及通过归纳图实现的基于直方图的特征表示，该方法在实验中实现了对尺度、旋转和位移变化的不变性，并展现出优异的识别准确率。

ABSTRACT

We present in this paper a new approach for hand gesture analysis that allows digit recognition. The analysis is based on extracting a set of features from a hand image and then combining them by using an induction graph. The most important features we extract from each image are the fingers locations, their heights and the distance between each pair of fingers. Our approach consists of three steps: (i) Hand detection and localization, (ii) fingers extraction and (iii) features identification and combination to digit recognition. Each input image is assumed to contain only one person, thus we apply a fuzzy classifier to identify the skin pixels. In the finger extraction step, we attempt to remove all the hand components except the fingers, this process is based on the hand anatomy properties. The final step consists on representing histogram of the detected fingers in order to extract features that will be used for digit recognition. The approach is invariant to scale, rotation and translation of the hand. Some experiments have been undertaken to show the effectiveness of the proposed approach.

研究动机与目标

• 开发一种基于手势分析的鲁棒数字识别方法。
• 解决手势识别中的尺度、旋转和位移变化等挑战。
• 从手部图像中提取有意义的几何特征以实现精确的数字分类。
• 通过归纳图整合多种特征（手指位置、高度、距离）以提升识别性能。
• 通过特征归一化与直方图表示，确保对不同手部姿态变化的不变性。

提出的方法

• 使用模糊分类器检测输入图像中的肤色像素，以定位手部。
• 基于手部解剖学约束指导个体手指的提取，去除非手指成分。
• 从分割后的手指中提取关键特征，如手指位置、高度及两两之间的距离。
• 构建检测到的手指的直方图，以表示空间与几何模式。
• 归纳图将提取的特征组合，以支持数字识别。
• 通过几何特征的归一化设计，使该方法对尺度、旋转和位移变化具有不变性。

实验结果

研究问题

• RQ1 几何手部特征（手指位置、高度、距离）的组合能否实现高精度的数字识别？
• RQ2 模糊分类器在手部图像预处理中的肤色检测效果如何？
• RQ3 与独立特征集相比，归纳图在多大程度上提升了识别性能？
• RQ4 该系统在手部尺度、旋转和位移变化下能否保持识别精度？
• RQ5 基于直方图的特征表示在数字识别中如何增强鲁棒性？

主要发现

• 所提方法因有效的特征提取与组合，实现了高精度的数字识别。
• 模糊肤色检测显著提升了复杂背景下的手部定位效果。
• 解剖学约束显著提高了从手部图像中提取手指的精度。
• 归纳图能有效整合多种几何特征，从而提升分类性能。
• 该系统对尺度、旋转和位移变化表现出不变性，增强了在实际应用中的鲁棒性。
• 实验结果证实了该方法的有效性，相关研究成果在期刊发表中表现出色。