[論文レビュー] Hand tracking for clinical applications: validation of the Google MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks

Gianluca Amprimo, Giulia Masi+4 more|arXiv (Cornell University)|Aug 2, 2023

Stroke Rehabilitation and RecoveryMedicine被引用数 3

ひとこと要約

本研究では、RGB深度カメラを用いた臨床的ハンドトラッキングのために、Google MediaPipe Hand (GMH) およびその深度強化型バージョンである GMH-D の妥当性を検証した。GMH-D は動的タスク中の3次元ハンド運動を測定する際、GMH よりも優れた空間的正確性を達成し、ゴールドスタンダードのモーションキャプチャシステムと強い時間的および周波数的整合性を示した。これにより、ハンド機能の臨床的評価に信頼できるツールとしての可能性を示した。

ABSTRACT

Accurate 3D tracking of hand and fingers movements poses significant challenges in computer vision. The potential applications span across multiple domains, including human-computer interaction, virtual reality, industry, and medicine. While gesture recognition has achieved remarkable accuracy, quantifying fine movements remains a hurdle, particularly in clinical applications where the assessment of hand dysfunctions and rehabilitation training outcomes necessitate precise measurements. Several novel and lightweight frameworks based on Deep Learning have emerged to address this issue; however, their performance in accurately and reliably measuring fingers movements requires validation against well-established gold standard systems. In this paper, the aim is to validate the handtracking framework implemented by Google MediaPipe Hand (GMH) and an innovative enhanced version, GMH-D, that exploits the depth estimation of an RGB-Depth camera to achieve more accurate tracking of 3D movements. Three dynamic exercises commonly administered by clinicians to assess hand dysfunctions, namely Hand Opening-Closing, Single Finger Tapping and Multiple Finger Tapping are considered. Results demonstrate high temporal and spectral consistency of both frameworks with the gold standard. However, the enhanced GMH-D framework exhibits superior accuracy in spatial measurements compared to the baseline GMH, for both slow and fast movements. Overall, our study contributes to the advancement of hand tracking technology, the establishment of a validation procedure as a good-practice to prove efficacy of deep-learning-based hand-tracking, and proves the effectiveness of GMH-D as a reliable framework for assessing 3D hand movements in clinical applications.

研究の動機と目的

• 臨床的状況における3次元ハンドトラッキングのための Google MediaPipe Hand (GMH) フレームワークの正確性を検証すること。
• RGB深度カメラからの深度推定を統合することで空間的正確性を向上させた拡張版である GMH-D の性能を評価すること。
• 臨床的に関連性のあるハンド運動タスクの実行中に、両フレームワークをゴールドスタンダードのモーションキャプチャシステムと比較して評価すること。
• 臨床応用におけるディープラーニングベースのハンドトラッキングに最良の実践法としての妥当化プロトコルを確立すること。

提案手法

• 本研究では、2次元ハンドキーポoinト検出のための軽量ディープラーニングモデルである GMH フレームワークを、RGB深度カメラからの深度データを融合することで拡張し、GMH-D とした。
• GMH-D フレームワークは、RGB画像特徴と深度マップ特徴を組み合わせるマルチストリームアーキテクチャを用いて、3次元キーポイント推定を向上させた。
• 参加者が実施した3つの動的ハンド運動（ハンドの開閉、指単体タッピング、複数指タッピング）が、GMH/GMH-D システムおよびゴールドスタンダードのモーションキャプチャシステムの両方で記録された。
• 時間的および周波数的整合性は、相互相関およびスペクトルコherence分析を用いて評価された。
• 空間的正確性は、予測された3次元キーポイント位置と真値との間の平均二乗誤差（RMSE）を用いて定量化された。
• 反復試行を繰り返し、速度の異なる運動条件下で性能をテストすることで、遅い運動と速い運動の両方におけるロバストネスを検証した。

実験結果

リサーチクエスチョン

• RQ1 GMH フレームワークは、臨床的タスクにおいてゴールドスタンダードのモーションキャプチャシステムと比較して、3次元ハンド運動をどの程度正確にトラッキングできるか？
• RQ2 GMH-D において深度データを統合することで、ベースラインの GMH フレームワークに比べて空間的正確性がどの程度向上するか？
• RQ3 GMH および GMH-D の出力の時間的および周波数的特性は、ゴールドスタンダードとどの程度整合しているか？
• RQ4 GMH-D の性能は、遅いおよび速いハンド運動速度の両方で安定しているか？

主な発見

• GMH-D は、全テスト運動において、GMH よりも顕著に向上した空間的正確性を示し、3次元キーポイント推定における平均二乗誤差（RMSE）が低かった。
• GMH および GMH-D の両方とも、時間的整合性が高く、全タスクで相互相関係数が 0.95 を超えた。
• スペクトルコherence分析により、両フレームワークが臨床的評価に適した周波数帯域でハンド運動の周波数コンテンツを高い忠実度で保持していることが示された。
• GMH-D は、遅い運動および速い運動の両方において、GMH よりも空間的正確性に優れており、運動速度にかかわらずロバストであることが示された。
• 本研究では、臨床環境におけるディープラーニングベースのハンドトラッキングシステムの再現可能な妥当化パイプラインを確立した。