[论文解读] Feature Detection for Hand Hygiene Stages

Rashmi Bakshi, Jane Courtney+2 more|arXiv (Cornell University)|Aug 6, 2021

Hand Gesture Recognition Systems参考文献 8被引用 4

一句话总结

本文提出了一种基于计算机视觉的流水线，用于检测手部清洁各阶段，采用特征检测算法对自建铝制支架数据集进行分析。在静态图像中对'搓手心'阶段的Harris、Shi-Tomasi和SIFT检测器进行了评估，证明了其在未来基于视频的深度学习分类WHO推荐洗手步骤方面的可行性。

ABSTRACT

The process of hand washing involves complex hand movements. There are six principal sequential steps for washing hands as per the World Health Organisation (WHO) guidelines. In this work, a detailed description of an aluminium rig construction for creating a robust hand-washing dataset is discussed. The preliminary results with the help of image processing and computer vision algorithms for hand pose extraction and feature detection such as Harris detector, Shi-Tomasi and SIFT are demonstrated. The hand hygiene pose- Rub hands palm to palm was captured as an input image for running all the experiments. The future work will focus upon processing the video recordings of hand movements captured and applying deep-learning solutions for the classification of hand-hygiene stages.

研究动机与目标

• 通过自建铝制支架，开发一种稳健且可复现的手部清洁阶段识别数据集。
• 在手部清洁姿势的静态图像上，评估传统计算机视觉特征检测器（Harris、Shi-Tomasi、SIFT）的性能。
• 为未来基于视频的深度学习方法分类WHO推荐的洗手阶段奠定基础。
• 实现精确的手部姿态提取与特征定位，以支持复杂手部运动的分析。
• 通过自动化监测手部清洁合规性，支持感染控制。

提出的方法

• 构建了一个经过校准的铝制支架，以标准化手部位置和光照条件，确保图像采集的一致性。
• 收集了描绘洗手过程中'双手掌心相互搓动'阶段的静态图像数据集。
• 应用Harris角点检测器、Shi-Tomasi角点检测器和SIFT特征检测算法，识别关键手部特征。
• 使用图像处理技术，从输入图像中的手部区域提取并定位显著特征。
• 在单一、明确的手部清洁姿势上评估检测性能，以检验算法的可行性。
• 为未来将该方法扩展至视频序列并采用深度学习模型奠定基础。

实验结果

研究问题

• RQ1 传统特征检测算法（Harris、Shi-Tomasi、SIFT）在特定手部清洁阶段识别关键手部特征方面的有效性如何？
• RQ2 受控的物理支架设置能否生成可靠且可重复的手部清洁阶段识别数据集？
• RQ3 对手部姿势的静态图像分析在支持开发基于视频的分类系统方面具有多大程度的适用性？
• RQ4 经典计算机视觉方法在捕捉洗手动作动态特性方面存在哪些局限性？
• RQ5 如何利用特征检测实现对WHO推荐手部清洁步骤的自动化监测？

主要发现

• 铝制支架在受控条件下实现了稳定且可重复的图像采集，支持可靠的数据集构建。
• Harris、Shi-Tomasi和SIFT检测器成功识别了'双手掌心相互搓动'姿势中的显著特征。
• 初步结果表明，经典特征检测方法在手部清洁阶段分析中具有可行性。
• 本研究证实，使用这些算法进行静态图像分析可作为未来基于视频的深度学习方法的有力基线。
• 本研究提供的数据集与方法论为分类WHO推荐的完整洗手步骤序列奠定了基础。
• 未来工作将把该方法扩展至视频序列，并利用深度学习提升分类准确性。