[论文解读] Human Computer Interaction Using Marker Based Hand Gesture Recognition

Sayem Mohammad Siam, Jahidul Adnan Sakel+1 more|arXiv (Cornell University)|Jun 23, 2016

Hand Gesture Recognition Systems参考文献 12被引用 9

一句话总结

本论文提出了一种低成本、基于标记的指尖手势识别系统，通过在手指尖使用红绿标记，并结合模板匹配与卡尔曼滤波技术，利用消费级网络摄像头实现实时检测与跟踪。用户适应后，系统平均准确率达到79.4%，可实现无需触摸屏的直观桌面系统控制，支持点击、缩放和导航等手势操作。

ABSTRACT

Human Computer Interaction (HCI) has been redefined in this era. People want to interact with their devices in such a way that has physical significance in the real world, in other words, they want ergonomic input devices. In this paper, we propose a new method of interaction with computing devices having a consumer grade camera, that uses two colored markers (red and green) worn on tips of the fingers to generate desired hand gestures, and for marker detection and tracking we used template matching with kalman filter. We have implemented all the usual system commands, i.e., cursor movement, right click, left click, double click, going forward and backward, zoom in and out through different hand gestures. Our system can easily recognize these gestures and give corresponding system commands. Our system is suitable for both desktop devices and devices where touch screen is not feasible like large screens or projected screens.

研究动机与目标

• 开发一种仅使用消费级网络摄像头和彩色标记的低成本、实时人机交互（HCI）系统。
• 克服在不同光照条件、背景干扰和遮挡情况下的标记检测挑战，实现实时跟踪。
• 通过手势实现对桌面和大屏幕设备的直观、人体工学式控制，替代传统输入设备（如鼠标或触控板）。
• 通过自适应学习和优化检测算法，确保系统的易用性和高识别准确率。
• 在二维空间中验证基于标记的手势控制的可行性，并为未来结合深度感知技术扩展至三维空间提供可能。

提出的方法

• 采用带滑动窗口机制的模板匹配，以降低计算复杂度并加速实时标记检测。
• 集成卡尔曼滤波以提升跟踪鲁棒性，通过预测标记位置来应对临时遮挡或快速运动。
• 使用HSL颜色空间，通过聚焦色调和饱和度值来减少光照变化的影响，降低对检测的敏感度。
• 实施基于尺寸的过滤准则，通过排除预设区域范围外的区域，区分标记与背景物体。
• 应用带边界框的圆形扫描方法，加速标记丢失后的重新检测，使恢复速度提升约12%。
• 通过在手指尖使用两种颜色标记（红色和绿色），定义八种不同的手势，映射到标准系统命令（如左键点击、缩放放大/缩小）。

实验结果

研究问题

• RQ1 仅使用消费级网络摄像头，低成本的标记式系统能否实现实时、准确的手势识别？
• RQ2 模板匹配与卡尔曼滤波的结合在快速运动或部分遮挡等动态条件下，对保持稳定标记跟踪的有效性如何？
• RQ3 用户性能在重复使用后提升程度如何？系统如何随时间支持用户适应？
• RQ4 搜索窗口与基于尺寸的过滤在复杂视觉环境中对提升检测速度与准确率的作用有多大？
• RQ5 系统能否在不依赖专用硬件的情况下，可靠地将特定手势映射到标准系统命令？

主要发现

• 系统平均处理速度为每0.025秒一帧，支持实时交互，适用于实际人机交互应用。
• 用户准确率从首次10次尝试的59.38%显著提升至30次尝试后的79.4%，表明系统具备良好的用户适应性与可学习性。
• 在圆形扫描中使用边界框相比无约束的标准扫描，将标记重新检测时间减少了约12%。
• 在五名用户中，平均手势识别准确率达到79.4%（经多次使用后），表明系统具有高度可靠性与用户友好性。
• 系统成功将八种不同手势（如左/右键点击、缩放、导航）映射到对应系统命令，且识别性能稳定一致。
• 颜色空间转换（HSL）与基于尺寸的过滤相结合，显著减少了与背景中相似颜色物体的误检。