[论文解读] Intelligent Approaches to interact with Machines using Hand Gesture Recognition in Natural way: A Survey

Ankit Chaudhary, J. L. Raheja+2 more|arXiv (Cornell University)|Mar 10, 2013

Hand Gesture Recognition Systems被引用 29

一句话总结

本综述回顾了利用软计算方法（如人工神经网络、模糊逻辑和遗传算法）进行智能手势识别（HGR）的技术，以实现自然的人机交互。分析了预处理、分割和特征提取方法，特别是基于指尖的手部检测方法，并对比了各研究中的性能表现，突出展示了混合智能方法在提升游戏、机器人和智能家居应用中识别准确率和鲁棒性方面的有效性。

ABSTRACT

Hand gestures recognition (HGR) is one of the main areas of research for the engineers, scientists and bioinformatics. HGR is the natural way of Human Machine interaction and today many researchers in the academia and industry are working on different application to make interactions more easy, natural and convenient without wearing any extra device. HGR can be applied from games control to vision enabled robot control, from virtual reality to smart home systems. In this paper we are discussing work done in the area of hand gesture recognition where focus is on the intelligent approaches including soft computing based methods like artificial neural network, fuzzy logic, genetic algorithms etc. The methods in the preprocessing of image for segmentation and hand image construction also taken into study. Most researchers used fingertips for hand detection in appearance based modeling. Finally the comparison of results given by different researchers is also presented.

研究动机与目标

• 提供对用于自然人机交互的手势识别（HGR）智能方法的全面综述。
• 分析软计算技术（如神经网络、模糊逻辑和遗传算法）在提升HGR性能方面的作用。
• 研究图像预处理和分割技术，特别是基于指尖的建模方法，以实现精确的手部检测。
• 对比文献中报道的不同HGR系统的性能，重点关注识别准确率和鲁棒性。
• 识别在无设备、自然手势交互方面的研究空白与未来方向。

提出的方法

• 基于200余项HGR研究的综述性分析，重点聚焦计算机视觉与人机交互中的智能方法。
• 将HGR系统分类为基于外观的方法与基于模型的方法，重点关注指尖检测在手部定位中的应用。
• 回顾预处理技术，包括色彩空间转换（如YCrCb）、边缘检测和噪声抑制，以提升图像质量。
• 评估轮廓分析、Hu矩和肤色分割等特征提取方法在手势表征中的应用。
• 应用软计算模型：人工神经网络（ANNs）用于分类，模糊逻辑用于处理不确定性，遗传算法用于特征优化。
• 系统性比较不同HGR框架在识别准确率、处理时间及鲁棒性方面的表现。

实验结果

研究问题

• RQ1 神经网络和模糊逻辑等软计算技术如何提升手势识别的准确率和鲁棒性？
• RQ2 哪些最有效的预处理与分割技术可用于从复杂背景中分离出手部区域？
• RQ3 基于指尖的建模方法与其它手部检测策略相比，在识别性能方面有何差异？
• RQ4 基于外观与基于模型的HGR方法在关键性能指标上存在哪些主要差异？
• RQ5 哪些智能方法在实际应用中展现出最高的识别准确率和实时可行性？

主要发现

• 基于指尖的外观建模通过聚焦手部图像中的显著特征，显著提升了手部检测的准确率。
• 结合多种软计算技术的混合方法（如ANN与遗传算法结合）比单一方法系统展现出更高的识别准确率。
• 预处理步骤如YCrCb色彩空间转换和中值滤波可有效提升图像质量并减少噪声，从而改善后续识别效果。
• 神经网络，特别是前馈网络和RBF网络，在多个基准研究中表现出超过90%的识别准确率。
• 模糊逻辑系统能有效处理手势边界和光照变化带来的不确定性，提升了真实环境下的鲁棒性。
• 本综述指出，复杂手势集合在实时处理方面仍存在性能差距，表明亟需开发轻量化优化模型。