[论文解读] Fully Automated Hand Hygiene Monitoring\\in Operating Room using 3D Convolutional Neural Network

Minjee Kim, Joonmyeong Choi+1 more|arXiv (Cornell University)|Mar 20, 2020

Pressure Ulcer Prevention and Management参考文献 14被引用 5

一句话总结

该论文提出了一种基于3D卷积神经网络（3D CNN）的全自动手术室手部卫生监测系统，可实时检测酒精擦手行为。通过利用Kinetics-400数据集的迁移学习，并在裁剪后的上半身视频片段上应用时空特征提取与时间平滑处理，该方法在小规模、复杂的手术视频数据集上实现了76%的准确率、85%的精确率、65%的召回率和74%的F1分数，优于基于光流的方法。

ABSTRACT

Hand hygiene is one of the most significant factors in preventing hospital acquired infections (HAI) which often be transmitted by medical staffs in contact with patients in the operating room (OR). Hand hygiene monitoring could be important to investigate and reduce the outbreak of infections within the OR. However, an effective monitoring tool for hand hygiene compliance is difficult to develop due to the visual complexity of the OR scene. Recent progress in video understanding with convolutional neural net (CNN) has increased the application of recognition and detection of human actions. Leveraging this progress, we proposed a fully automated hand hygiene monitoring tool of the alcohol-based hand rubbing action of anesthesiologists on OR video using spatio-temporal features with 3D CNN. First, the region of interest (ROI) of anesthesiologists' upper body were detected and cropped. A temporal smoothing filter was applied to the ROIs. Then, the ROIs were given to a 3D CNN and classified into two classes: rubbing hands or other actions. We observed that a transfer learning from Kinetics-400 is beneficial and the optical flow stream was not helpful in our dataset. The final accuracy, precision, recall and F1 score in testing is 0.76, 0.85, 0.65 and 0.74, respectively.

研究动机与目标

• 为解决医疗人员在手术室中手部卫生依从性低的长期挑战，该挑战是医院获得性感染（HAIs）的重要原因。
• 开发一种全自动、可扩展的解决方案，以克服人工观察的局限性，如观察者偏倚和高人力成本。
• 即使在复杂、动态的手术室环境中，也能通过视频中的时空特征实现对手部擦拭动作的准确检测。
• 评估在小规模手部动作识别任务中，RGB与光流模态在性能上的差异，特别是在手术环境中的表现。
• 探索合成数据、迁移学习和数据增强在提升有限真实手术视频数据集上模型性能方面的有效性。

提出的方法

• 采用两阶段方法：首先，通过姿态估计检测并裁剪麻醉医生的上半身感兴趣区域（ROI）的视频片段。
• 对ROI序列应用时间平滑处理，以减少噪声并提高时间一致性。
• 使用来自Kinetics-400数据集的迁移学习，在RGB视频片段上训练3D膨胀卷积神经网络（I3D），该数据集包含400个人类动作类别，包括“洗手”。
• 通过1x1x1卷积和Sigmoid输出层对模型进行微调，实现二分类任务：‘手部擦拭’与‘其他动作’。
• 通过让非医务人员在真实手术室环境中模拟手部卫生行为来生成合成数据，以扩充训练集。
• 同时评估了光流模态，使用OpenCV中的TV-L1算法计算光流，但发现其在该数据集上表现较差。

实验结果

研究问题

• RQ1 基于3D CNN的系统能否仅使用RGB视频和迁移学习，在实时手术室视频中准确检测手部擦拭动作？
• RQ2 在手术环境中，引入光流模态是否能提升小规模手部动作识别的分类性能？
• RQ3 在有限的真实手术视频数据集上，合成数据增强和时间平滑在提升模型泛化能力方面的有效性如何？
• RQ4 从大规模动作识别数据集（Kinetics-400）进行迁移学习，在小规模、特定领域手术动作检测任务中，能在多大程度上提升性能？
• RQ5 在此背景下，RGB仅模型与光流模型及RGB+光流融合模型的性能指标（准确率、精确率、召回率、F1）相比如何？

主要发现

• 仅使用RGB的I3D模型在测试集上表现最佳，准确率为76%，精确率为85%，召回率为65%，F1分数为74%。
• 仅使用光流模态的模型精确率为1.00，但召回率仅为22%，表明其未能检测到大多数实际的手部擦拭动作。
• RGB+光流联合模型的性能劣于仅使用RGB的模型，准确率下降15%，F1分数下降31%，表明光流在此数据集上具有负面影响。
• 从Kinetics-400进行迁移学习显著提升了小规模手术视频数据集上的性能，证明其在低资源动作识别任务中的价值。
• 利用合成数据和基于人体关键点的数据增强有效缓解了数据稀缺问题，并提升了模型的鲁棒性。
• 本研究发现，与大规模动作数据集相比，光流在复杂、多人参与的手术场景中对细微、小尺度手部运动的检测效果较差。