[论文解读] Implementation of Hand Detection based Techniques for Human Computer Interaction

Amiraj Dhawan, Vipul Honrao|arXiv (Cornell University)|Dec 29, 2013

Hand Gesture Recognition Systems参考文献 1被引用 24

一句话总结

本文提出了一种基于手势检测的人机交互系统，采用计算机视觉技术，实现在传统电脑和移动设备上的手势输入。通过使用颜色分割和轮廓分析实时检测手部轮廓并追踪手势，该系统无需外接硬件设备即可实现响应式交互，展示了在游戏和移动界面等应用中实现无接触控制的可行性。

ABSTRACT

The computer industry is developing at a fast pace. With this development almost all of the fields under computers have advanced in the past couple of decades. But the same technology is being used for human computer interaction that was used in 1970s. Even today the same type of keyboard and mouse is used for interacting with computer systems. With the recent boom in the mobile segment touchscreens have become popular for interaction with cell phones. But these touchscreens are rarely used on traditional systems. This paper tries to introduce methods for human computer interaction using the users hand which can be used both on traditional computer platforms as well as cell phones. The methods explain how the users detected hand can be used as input for applications and also explain applications that can take advantage of this type of interaction mechanism.

研究动机与目标

• 为解决人机交互界面停滞不前的问题，当前仍依赖键盘和鼠标等过时的输入方式。
• 开发一种低成本、易获取的替代传统输入设备的方案，利用手势识别技术。
• 使用标准摄像头在台式机系统和移动设备上实现基于手势的交互。
• 展示手部检测在实时交互系统中的实际应用。
• 弥合新兴移动触控界面与传统计算平台之间的差距。

提出的方法

• 系统在HSV颜色空间中使用基于颜色的分割技术，从实时视频输入中实时分离出手部区域与背景。
• 应用轮廓检测和凸包分析以提取手部形状并识别指尖位置。
• 采用基于质心的追踪机制，在视频帧之间保持手部位置的连续性，实现稳定交互。
• 通过分析手部形状和位置随时间的变化实现手势识别。
• 系统处理来自标准网络摄像头或移动设备摄像头的输入，无需专用硬件。
• 基于检测到的手部特征，实现了虚拟鼠标控制和手势导航等应用的原型开发。

实验结果

研究问题

• RQ1 能否通过标准摄像头实现有效且响应迅速的手部检测，以支持人机交互？
• RQ2 如何在计算开销最小的前提下实现实时手部手势识别？
• RQ3 该手部检测系统在多大程度上可适配于台式机和移动设备？
• RQ4 基于手势的交互在何种程度上可替代传统输入设备？
• RQ5 在不同光照和背景条件下，手部检测的准确性和可靠性如何？

主要发现

• 该系统成功使用标准网络摄像头和移动摄像头实现实时手部手势检测与追踪。
• 在HSV空间中的颜色分割技术能有效分离出手部区域，即使在中等光照变化下也表现良好。
• 轮廓分析与凸包分析可准确识别手部形状及指尖位置。
• 该系统在虚拟鼠标控制和手势导航等原型应用中展示了功能性交互能力。
• 该方法可适配于台式机和移动设备，支持跨设备交互。
• 该方法实现了低延迟交互，适用于实时应用，且无需专用硬件。