[论文解读] Kinect Sensor Based Gesture Recognition for Surveillance Application

Biswarup Ganguly, Amit Konar|arXiv (Cornell University)|Dec 22, 2018

Hand Gesture Recognition Systems参考文献 5被引用 7

一句话总结

本文提出了一种基于Kinect传感器的实时手势识别系统，用于监控应用，利用深度数据和骨骼追踪在多人环境中检测复杂且非周期性的手势。通过结合姿态估计与时间建模，该方法在具有挑战性的条件下实现了对非周期性手势的鲁棒识别，在动态监控场景中表现出高精度。

ABSTRACT

Hand gesture recognition has been granted as one of the emerging fields in research today providing a natural way of communication between man and a machine. Gestures are some forms of body motions which a person expresses when doing a work or giving a reply. Human body tracking is a well studied topic in todays era of Human Computer Interaction and it can be formed by the virtue of human skeleton structures. These skeleton structures have been detected successfully due to the smart progress of some devices, used to measure depth. Human body movements have been viewed using these depth sensors which can provide sufficient accuracy while tracking full body in real time mode with low cost. In reality action and reaction activities are hardly periodic in a multi person perspective situation. Also recognizing their complex a-periodic gestures are highly challenging for detection in surveillance system.

研究动机与目标

• 开发一种利用低成本深度传感器的实时手势识别系统。
• 解决在多人、动态环境中识别复杂非周期性手势的挑战。
• 利用Kinect传感器的骨骼追踪提升手势检测的准确性和鲁棒性。
• 通过直观的手势控制实现监控场景中自然的人机交互。
• 在真实世界中非理想条件下评估系统性能，这些条件在监控场景中普遍存在。

提出的方法

• 利用Microsoft Kinect传感器实时捕获深度和骨骼数据。
• 采用人体骨骼追踪技术提取关节位置和运动模式。
• 应用时间建模分析手势序列，特别是非周期性手势。
• 处理深度数据以分离出手部区域，并提取运动特征用于分类。
• 使用机器学习技术基于骨骼和运动特征对手势进行分类。
• 整合空间与时间特征以提升对复杂非周期性手势的识别能力。

实验结果

研究问题

• RQ1 如何有效利用Kinect的深度传感器数据实现实时非周期性手势识别？
• RQ2 骨骼追踪在多人监控中对提升手势识别准确率起到了什么作用？
• RQ3 该系统如何应对动态真实环境中非周期性手势的复杂性？
• RQ4 低成本深度传感器能否实现适用于监控应用的可靠手势识别？
• RQ5 当前手势识别系统在多人、非周期性场景下的局限性是什么？

主要发现

• 该系统成功利用Kinect的深度和骨骼数据实时识别出复杂非周期性手势。
• 骨骼追踪通过提供结构化的基于关节的特征，显著提升了手势识别的准确性。
• 该方法在多人场景中表现出鲁棒性，在遮挡和杂乱环境下仍能保持性能。
• 对手势序列的时间建模增强了对非重复、不规则手势的识别能力。
• 该方法在计算成本较低的情况下实现了高识别准确率，适用于实时监控。
• 该系统在动态环境中表现有效，在具有挑战性的条件下优于传统方法。