[論文レビュー] Measuring hand use in the home after cervical spinal cord injury using egocentric video

Andrea Bandini, Mehdy Dousty+4 more|arXiv (Cornell University)|Mar 31, 2022

Spinal Cord Injury Research参考文献 43被引用数 17

ひとこと要約

本研究では、深層学習を用いて自宅での四肢麻痺患者の手の使用状況を自動的に測定できるウェアラブルエゴセントリック動画システムを開発・検証した。自動抽出された指標（インタラクション時間の割合：Perc、1時間あたりのインタラクション回数：Num）が、臨床的評価による手機能と独立性と有意に相関しており、実世界環境におけるパフォーマンスベースのアウトカム指標としての有効性が裏付けられた。

ABSTRACT

Background: Egocentric video has recently emerged as a potential solution for monitoring hand function in individuals living with tetraplegia in the community, especially for its ability to detect functional use in the home environment. Objective: To develop and validate a wearable vision-based system for measuring hand use in the home among individuals living with tetraplegia. Methods: Several deep learning algorithms for detecting functional hand-object interactions were developed and compared. The most accurate algorithm was used to extract measures of hand function from 65 hours of unscripted video recorded at home by 20 participants with tetraplegia. These measures were: the percentage of interaction time over total recording time (Perc); the average duration of individual interactions (Dur); the number of interactions per hour (Num). To demonstrate the clinical validity of the technology, egocentric measures were correlated with validated clinical assessments of hand function and independence (Graded Redefined Assessment of Strength, Sensibility and Prehension - GRASSP, Upper Extremity Motor Score - UEMS, and Spinal Cord Independent Measure - SCIM). Results: Hand-object interactions were automatically detected with a median F1-score of 0.80 (0.67-0.87). Our results demonstrated that higher UEMS and better prehension were related to greater time spent interacting, whereas higher SCIM and better hand sensation resulted in a higher number of interactions performed during the egocentric video recordings. Conclusions: For the first time, measures of hand function automatically estimated in an unconstrained environment in individuals with tetraplegia have been validated against internationally accepted measures of hand function. Future work will necessitate a formal evaluation of the reliability and responsiveness of the egocentric-based performance measures for hand use.

研究の動機と目的

• 四肢麻痺を有する被験者が自然な自宅環境で手機能を測定可能なウェアラブルビジョンベースのシステムを開発すること。
• エゴセントリック動画から機能的で手と物体の相互作用を検出するための最も正確な深層学習アルゴリズムを比較・選定すること。
• エゴセントリック動画から自動抽出された手の使用状況指標（Perc、Dur、Num）を、標準化された臨床的評価（GRASSP、UEMS、SCIM）と照合して妥当性を検証すること。
• ビジョンベースの指標が、臨床的容量測定を超えて実世界での上肢機能パフォーマンスを捉える有効な臨床的妥当性を確立すること。

提案手法

• 四肢麻痺を有する20名の被験者が自宅で非構造的な日常活動を実施している際のエゴセントリック動画記録を用いた。
• 複数の深層学習モデルを用いて手と物体の相互作用検出を評価し、F1スコアに基づいて最も優れた性能を示したモデルを選定した。
• 3つの主要な手機能指標を抽出した：Perc（インタラクション時間の割合）、Dur（平均インタラクション時間）、Num（1時間あたりのインタラクション回数）。
• エゴセントリック指標と臨床的評価（GRASSP：把持機能、UEMS：運動機能、SCIM：独立性）を相関分析した。
• 手の局所化と相互作用検出をコアコンponentsとするモジュラー動画処理パイプラインを採用した。
• コンピュータビジョン技術を用いて、手と物体の接触状態から機能的使用状況を推定した。今後、グリップ認識や行動検出への拡張を計画している。

実験結果

リサーチクエスチョン

• RQ1 深層学習は、四肢麻痺を有する被験者が自宅環境で記録したエゴセントリック動画から、機能的で手と物体の相互作用を正確に検出できるか？
• RQ2 自動抽出されたエゴセントリック指標（Perc、Dur、Num）は、検証済みの臨床的指標（手機能と独立性）と相関するか？
• RQ3 特定のエゴセントリック手使用指標と強く関連する臨床的要因（例：運動機能、感覚、把持機能）は何か？
• RQ4 エゴセントリック動画ベースの指標は、実世界環境における上肢機能の有効なパフォーマンスベースのアウトカム指標として機能できるか？

主な発見

• 最も正確な深層学習モデルは、手と物体の相互作用検出において中央値F1スコア0.80（IQR：0.67–0.87）を達成した。
• UEMSスコアが高いほどPercが有意に高かった（r = 0.55、p = 0.01）、すなわち良好な運動機能はより長いインタラクション時間に関連していた。
• 良好な把持機能（GR-PP）はPercと正の相関を示した（r = 0.48、p = 0.03）、良好なグリップ品質がインタラクション時間の延長に寄与することを示した。
• SCIMスコアが高く、手の感覚機能が良好な被験者は、1時間あたりのインタラクション回数（Num）が多かった。独立性と感覚機能の向上が、より頻繁な使用行動を支えることを示唆した。
• 本研究は、四肢麻痺を有する被験者において、国際的に承認された臨床的評価と照合したエゴセントリックビジョンベースの手使用指標の妥当性を初めて検証した。
• モジュラー処理パイプラインにより、今後グリップ認識や行動検出の統合が可能となり、手使用の「量」と「質」の両方を評価できるようになると期待される。