[论文解读] An Effective and Efficient Method for Detecting Hands in Egocentric Videos for Rehabilitation Applications

Ryan J. Visée, Jirapat Likitlersuang+1 more|arXiv (Cornell University)|Aug 27, 2019

Spinal Cord Injury Research参考文献 43被引用 32

一句话总结

本文提出了一种混合手部检测方法，结合 YOLOv2 目标检测与 KCF 或 Median Flow 跟踪，以在脊髓损伤患者的第一视角视频中实现高精度和实时性能。最佳组合（YOLO_KCF）的 F1 分数达到 0.87±0.07，同时速度是单一最快检测器的两倍，从而实现了家庭康复监测中高效、鲁棒的手部跟踪。

ABSTRACT

Objective: Individuals with spinal cord injury (SCI) report upper limb function as their top recovery priority. To accurately represent the true impact of new interventions on patient function and independence, evaluation should occur in a natural setting. Wearable cameras can be used to monitor hand function at home, using computer vision to automatically analyze the resulting videos (egocentric video). A key step in this process, hand detection, is difficult to do robustly and reliably, hindering deployment of a complete monitoring system in the home and community. We propose an accurate and efficient hand detection method that uses a simple combination of existing detection and tracking algorithms. Methods: Detection, tracking, and combination methods were evaluated on a new hand detection dataset, consisting of 167,622 frames of egocentric videos collected on 17 individuals with SCI performing activities of daily living in a home simulation laboratory. Results: The F1-scores for the best detector and tracker alone (SSD and Median Flow) were 0.90$\pm$0.07 and 0.42$\pm$0.18, respectively. The best combination method, in which a detector was used to initialize and reset a tracker, resulted in an F1-score of 0.87$\pm$0.07 while being two times faster than the fastest detector alone. Conclusion: The combination of the fastest detector and best tracker improved the accuracy over online trackers while improving the speed of detectors. Significance: The method proposed here, in combination with wearable cameras, will help clinicians directly measure hand function in a patient's daily life at home, enabling independence after SCI.

研究动机与目标

• 开发一种计算高效且准确的手部检测方法，用于颈椎脊髓损伤（SCI）患者的第一视角视频。
• 应对在真实环境下（如遮挡、光照变化和相机运动）实现鲁棒手部检测的挑战。
• 通过可穿戴摄像头实现实时、家庭环境下的手功能监测，用于上肢康复。
• 通过整合检测与跟踪方法的优势，构建轻量化、高效的系统，超越现有检测与跟踪方法。
• 通过在日常生活环境中直接测量手功能，支持新干预措施的临床评估。

提出的方法

• 该方法结合 YOLOv2 进行初始手部检测，以及 KCF 或 Median Flow 跟踪实现连续定位。
• 在初始化阶段和跟踪失败后，使用仅检测模式重新初始化跟踪器。
• 系统在检测与跟踪之间交替进行，避免同时处理以减少计算负载。
• 该方法采用简单的非并行架构，按顺序处理检测与跟踪。
• 当检测到跟踪失败时，使用检测器的输出重置跟踪器，从而提升对遮挡和快速运动的鲁棒性。
• 该方法在由 17 名 SCI 患者在家庭模拟实验室中执行日常任务的 167,622 幅图像组成的新数据集上进行评估。

实验结果

研究问题

• RQ1 混合检测-跟踪系统是否能在第一视角视频的手部检测中，实现比独立检测器或跟踪器更高的精度与速度？
• RQ2 YOLOv2 与 KCF/Median Flow 跟踪的组合在遮挡和光照变化等真实世界挑战下的表现如何？
• RQ3 该方法是否能在适合便携式、家庭康复系统的低功耗硬件上实现实时性能？
• RQ4 该系统在处理跟踪失败时的鲁棒性与独立跟踪器相比如何？
• RQ5 该方法是否能泛化到具有不同手部交互模式（如社交互动）的外部数据集？

主要发现

• 最佳独立检测器（SSD）的 F1 分数为 0.90±0.07，而最佳跟踪器（Median Flow）的 F1 分数为 0.42±0.18。
• YOLO_KCF 组合的 F1 分数达到 0.87±0.07，优于单独使用最佳跟踪器，且速度是最快独立检测器的两倍（68 FPS vs. 133 FPS）。
• 在 CPU-i5 上，YOLO_KCF 组合的运行速度为 4.4 FPS，比 YOLOv2 单独运行快 15 倍（0.3 FPS）。
• 在 CPU-i7 上，YOLO_MF 组合的估计速度可达 20 FPS，满足实时部署所需的 15–20 FPS 目标。
• 与仅使用跟踪器相比，该组合方法的标准差更低，表明其鲁棒性与可靠性更强。
• 该方法在外部数据集上泛化良好：在 EgoHands 数据集上，DAT 达到 0.722 的平均精度，优于以往工作，尤其在仅考虑摄像头佩戴者手部时。