[论文解读] Hand tracking for clinical applications: validation of the Google MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks

Gianluca Amprimo, Giulia Masi+4 more|arXiv (Cornell University)|Aug 2, 2023

Stroke Rehabilitation and RecoveryMedicine被引用 3

一句话总结

本研究通过RGB-深度相机验证了Google MediaPipe Hand（GMH）及其增强深度版本GMH-D在临床手部追踪中的有效性。GMH-D在动态任务中测量3D手部运动时，相较于GMH展现出更优的空间精度，且与金标准动作捕捉系统在时间与频谱上均表现出强一致性，表明其作为临床手功能评估的可靠工具。

ABSTRACT

Accurate 3D tracking of hand and fingers movements poses significant challenges in computer vision. The potential applications span across multiple domains, including human-computer interaction, virtual reality, industry, and medicine. While gesture recognition has achieved remarkable accuracy, quantifying fine movements remains a hurdle, particularly in clinical applications where the assessment of hand dysfunctions and rehabilitation training outcomes necessitate precise measurements. Several novel and lightweight frameworks based on Deep Learning have emerged to address this issue; however, their performance in accurately and reliably measuring fingers movements requires validation against well-established gold standard systems. In this paper, the aim is to validate the handtracking framework implemented by Google MediaPipe Hand (GMH) and an innovative enhanced version, GMH-D, that exploits the depth estimation of an RGB-Depth camera to achieve more accurate tracking of 3D movements. Three dynamic exercises commonly administered by clinicians to assess hand dysfunctions, namely Hand Opening-Closing, Single Finger Tapping and Multiple Finger Tapping are considered. Results demonstrate high temporal and spectral consistency of both frameworks with the gold standard. However, the enhanced GMH-D framework exhibits superior accuracy in spatial measurements compared to the baseline GMH, for both slow and fast movements. Overall, our study contributes to the advancement of hand tracking technology, the establishment of a validation procedure as a good-practice to prove efficacy of deep-learning-based hand-tracking, and proves the effectiveness of GMH-D as a reliable framework for assessing 3D hand movements in clinical applications.

研究动机与目标

• 验证Google MediaPipe Hand（GMH）框架在临床环境中进行3D手部追踪的准确性。
• 评估增强版本GMH-D的性能，该版本通过融合RGB-深度相机的深度估计信息，以提升空间精度。
• 在临床相关的手部运动任务中，将两种框架与金标准动作捕捉系统进行对比评估。
• 建立一种验证流程，作为临床应用中基于深度学习的手部追踪的行业最佳实践。

提出的方法

• 本研究采用GMH框架，即一种用于2D手部关键点检测的轻量级深度学习模型，并通过融合RGB-深度相机提供的深度数据，扩展为GMH-D框架。
• GMH-D框架采用多流架构，将RGB图像特征与深度图特征相结合，以提升3D关键点回归的性能。
• 参与者执行了三种动态手部动作——手部开合、单指敲击与多指敲击，其运动同时由GMH/GMH-D系统与金标准动作捕捉系统记录。
• 通过互相关分析与谱相干性分析，评估各系统间的时间一致性和频谱一致性。
• 通过预测值与真实3D关键点位置之间的均方根误差（RMSE）量化空间精度。
• 验证过程包含在不同运动速度下重复试验，以测试系统在慢速与快速运动下的鲁棒性。

实验结果

研究问题

• RQ1 在临床任务中，GMH框架相较于金标准动作捕捉系统，其3D手部运动追踪的准确性如何？
• RQ2 在GMH-D中集成深度数据后，相较于基线GMH框架，其空间精度的提升程度如何？
• RQ3 GMH与GMH-D的输出在时间与频谱特性上，与金标准的匹配程度如何？
• RQ4 GMH-D在慢速与快速手部运动速度下的性能是否保持稳定？

主要发现

• GMH-D在所有测试动作中均展现出显著优于GMH的空间精度，3D关键点估计的均方根误差（RMSE）更低。
• GMH与GMH-D均表现出高度的时间一致性，所有任务的互相关系数均超过0.95。
• 谱相干性分析显示，两种框架均以高保真度保留了手部运动的频率成分，尤其在临床评估相关的频段内表现优异。
• 在慢速与快速运动中，GMH-D在空间精度上均优于GMH，表明其在不同运动速度下均具备鲁棒性。
• 本研究建立了一套可复现的验证流程，适用于临床环境中基于深度学习的手部追踪系统。