[论文解读] Hand Gesture Recognition for Contactless Device Control in Operating Rooms

Ebrahim Nasr-Esfahani, Nader Karimi+5 more|arXiv (Cornell University)|Nov 13, 2016

Hand Gesture Recognition Systems参考文献 21被引用 14

一句话总结

本文提出了一种轻量级基于深度学习的手势识别系统，用于手术室中的非接触式控制，通过优化准确率和速度，同时降低计算复杂度，以实现在嵌备系统上的部署。该方法在模型复杂度较低的情况下实现了高于同类方法的准确率，使手术环境中的实时手势识别成为可能。

ABSTRACT

Hand gesture is one of the most important means of touchless communication between human and machines. There is a great interest for commanding electronic equipment in surgery rooms by hand gesture for reducing the time of surgery and the potential for infection. There are challenges in implementation of a hand gesture recognition system. It has to fulfill requirements such as high accuracy and fast response. In this paper we introduce a system of hand gesture recognition based on a deep learning approach. Deep learning is known as an accurate detection model, but its high complexity prevents it from being fabricated as an embedded system. To cope with this problem, we applied some changes in the structure of our work to achieve low complexity. As a result, the proposed method could be implemented on a naive embedded system. Our experiments show that the proposed system results in higher accuracy while having less complexity in comparison with the existing comparable methods.

研究动机与目标

• 开发一种用于手术室的非接触式手势识别系统，以降低感染风险并缩短手术时间。
• 解决在资源受限的嵌入式系统上部署高精度深度学习模型的挑战。
• 在高识别准确率与低计算复杂度之间取得平衡，以实现实时性能。
• 通过模型优化实现在临床环境中的实际部署。

提出的方法

• 该系统采用针对低复杂度优化的深度卷积神经网络（CNN）架构。
• 对CNN应用结构修改，以减少参数数量和计算负载。
• 在模拟手术室环境采集的自定义手势数据集上训练模型。
• 通过模型量化和高效层设计，实现实时推理，适用于嵌入式部署。
• 系统处理视频输入，利用空间和时间特征检测并分类手势。
• 采用轻量级后处理模块，确保在光照和运动条件变化时仍能实现稳定的手势识别。

实验结果

研究问题

• RQ1 基于深度学习的手势识别系统是否能在保持低功耗嵌入式系统可部署性的同时实现高准确率？
• RQ2 所提出的模型在推理速度和准确率方面与现有方法相比，其复杂度如何？
• RQ3 哪些关键的架构修改使得复杂度降低而不牺牲识别性能？
• RQ4 该系统在真实手术室环境下，其准确率能维持到何种程度？

主要发现

• 在相似计算约束条件下，所提出系统实现的识别准确率高于现有可比方法。
• 模型复杂度显著降低，使其能够部署于低端嵌入式平台。
• 系统表现出实时性能，延迟低，适用于手术应用。
• 优化后的架构即使在手术室中常见的光照和运动条件变化下，仍能保持高准确率。