[论文解读] A Real-time Hand Gesture Recognition and Human-Computer Interaction System

Pei Xu|arXiv (Cornell University)|Apr 24, 2017

Hand Gesture Recognition Systems参考文献 22被引用 62

一句话总结

一个基于CNN（改良的 LeNet-5）的实时手势为基础的人机交互系统，使用单目摄像头输入来识别16个静态手势，准确性高；还包括经过卡尔曼滤波的鼠标控制和一个简单的概率响应方案。它还展示了基于ROS的人机交互扩展。

ABSTRACT

In this project, we design a real-time human-computer interaction system based on hand gesture. The whole system consists of three components: hand detection, gesture recognition and human-computer interaction (HCI) based on recognition; and realizes the robust control of mouse and keyboard events with a higher accuracy of gesture recognition. Specifically, we use the convolutional neural network (CNN) to recognize gestures and makes it attainable to identify relatively complex gestures using only one cheap monocular camera. We introduce the Kalman filter to estimate the hand position based on which the mouse cursor control is realized in a stable and smooth way. During the HCI stage, we develop a simple strategy to avoid the false recognition caused by noises - mostly transient, false gestures, and thus to improve the reliability of interaction. The developed system is highly extendable and can be used in human-robotic or other human-machine interaction scenarios with more complex command formats rather than just mouse and keyboard events.

研究动机与目标

• 使用单目相机实现实时、低成本的基于手势的人机交互系统的动机。
• 开发一个基于CNN的手势识别器，从图像数据中直接学习特征。
• 通过跟踪的手部点实现稳定的鼠标光标控制，无需额外标记。
• 通过简单的概率方案，通过拒绝瞬时的错误手势来提高交互可靠性。
• 将系统扩展到使用ROS消息的人机交互（HRI）。

提出的方法

• 一个CNN分类器（修改后的 LeNet-5）处理预处理的二值手部图像，以高准确率识别16个静态手势。
• 手部检测包括背景减除、颜色过滤、高斯模糊、阈值分割、形态操作、轮廓提取和手部区域分离；一个距离变换用于识别手部中心。
• 多边近似（Ramer-Douglas-Peucker）在指尖定位中改善凸性缺陷检测。
• 以掌部手势的最上点，通常是中指尖端，来驱动鼠标光标；卡尔曼滤波平滑光标运动。
• 一个简单的基于概率的判定函数在响应期内防止系统对瞬时/错误手势做出反应，并稳定如拖拽等持续动作。
• 64x64 的CNN输入大小在学习率0.0001、动量0.9时获得最佳性能；模型在测试集上的准确度超过99.8%。

实验结果

研究问题

• RQ1 在有噪声的单目摄像头输入上训练的CNN，是否能在最小预处理下实现高准确度的静态手势识别？
• RQ2 带卡尔曼滤波跟踪点是否能在没有标记的情况下提供稳定、平滑的鼠标光标控制？
• RQ3 简单的基于概率的决策方案是否能在保持持续命令的同时可靠地抑制瞬时的错误手势？
• RQ4 手势为基础的HCI框架是否能够扩展到基于ROS的人机交互场景？

主要发现

• 手势集包含16个静态手势，来自五个人共收集了19,852个样本。
• 使用64x64输入尺寸的CNN识别在测试集上的准确率超过99.8%。
• 卡尔曼滤波在水平/垂直运动中提升鼠标光标的平滑性。
• 一个简单的基于概率的响应模型能有效拒绝瞬时/错误手势，并保持如拖拽等持续动作。
• 系统演示包括键盘/鼠标事件触发以及通过ROS主题对仿真机器人（ turtle ）进行ROS控制。