[論文レビュー] An Effective and Efficient Method for Detecting Hands in Egocentric Videos for Rehabilitation Applications

Ryan J. Visée, Jirapat Likitlersuang+1 more|arXiv (Cornell University)|Aug 27, 2019

Spinal Cord Injury Research参考文献 43被引用数 32

ひとこと要約

本論文は、頸髄損傷を有する被験者におけるエゴセントリック動画において、高い精度とリアルタイム性能を達成するため、YOLOv2の物体検出とKCFまたはMedian Flowトラッキングを組み合わせたハイブリッド手検出手法を提案する。最良の組み合わせ（YOLO_KCF）は、F1スコア0.87±0.07を達成した一方で、最速の検出器単体よりも2倍速く、家庭内リハビリテーションモニタリングにおける効率的で頑健な手トラッキングを可能にした。

ABSTRACT

Objective: Individuals with spinal cord injury (SCI) report upper limb function as their top recovery priority. To accurately represent the true impact of new interventions on patient function and independence, evaluation should occur in a natural setting. Wearable cameras can be used to monitor hand function at home, using computer vision to automatically analyze the resulting videos (egocentric video). A key step in this process, hand detection, is difficult to do robustly and reliably, hindering deployment of a complete monitoring system in the home and community. We propose an accurate and efficient hand detection method that uses a simple combination of existing detection and tracking algorithms. Methods: Detection, tracking, and combination methods were evaluated on a new hand detection dataset, consisting of 167,622 frames of egocentric videos collected on 17 individuals with SCI performing activities of daily living in a home simulation laboratory. Results: The F1-scores for the best detector and tracker alone (SSD and Median Flow) were 0.90$\pm$0.07 and 0.42$\pm$0.18, respectively. The best combination method, in which a detector was used to initialize and reset a tracker, resulted in an F1-score of 0.87$\pm$0.07 while being two times faster than the fastest detector alone. Conclusion: The combination of the fastest detector and best tracker improved the accuracy over online trackers while improving the speed of detectors. Significance: The method proposed here, in combination with wearable cameras, will help clinicians directly measure hand function in a patient's daily life at home, enabling independence after SCI.

研究の動機と目的

• 頸髄損傷（SCI）を有する被験者からのエゴセントリック動画における手検出のための、計算負荷が低く、高精度な手法を開発すること。
• 遮蔽、照明の変動、カメラの動きといった現実世界の条件下でも頑健な手検出の課題に対処すること。
• ウェアラブルカメラを用いた、家庭内での上肢リハビリテーションのためのリアルタイム、在宅モニタリングを可能にすること。
• 検出器とトラッカーの長所を統合した軽量で効率的なシステムとして、既存の検出・トラッキング手法を改善すること。
• 日常生活環境における手機能の直接的測定を可能にすることで、新規介入の臨床的評価を支援すること。

提案手法

• 本手法は、初期の手検出にYOLOv2を、継続的な局所化にKCFまたはMedian Flowトラッキングを組み合わせる。
• 初期化時およびトラッキング失敗後には、検出器のみのモードを用いてトラッカーを再初期化する。
• 処理負荷を低減するために、検出とトラッキングを同時に処理しないように、交互に切り替える。
• 検出とトラッキングを逐次的に処理する、シンプルな非並列アーキテクチャを採用する。
• トラッキング失敗が検出された際に、検出器の出力を用いてトラッカーをリセットすることで、遮蔽や急激な動きに対しても頑健性が向上する。
• 本手法は、17名のSCI被験者が家庭シミュレーションラボで日常的タスクを実施した、167,622フレームからなる新規データセットを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド検出-トラッキングシステムは、エゴセントリック動画における手検出において、単体の検出器やトラッカーに比べ、精度と速度の両面で優れているか？
• RQ2 YOLOv2とKCF／Median Flowトラッキングの組み合わせは、遮蔽や照明の変動といった現実世界の課題に対して、どのように性能を発揮するか？
• RQ3 本手法は、ポータブルで在宅用リハビリテーションシステムに適した低消費電力ハードウェアでもリアルタイム性能を達成できるか？
• RQ4 特にトラッキング失敗の対処において、単体のトラッカーと比較して、本システムの頑健性はどの程度高いか？
• RQ5 本手法は、社会的相互作用など、異なる手の相互作用パターンを示す外部データセットに対しても一般化可能か？

主な発見

• 最良の単体検出器（SSD）はF1スコア0.90±0.07を達成したが、最良のトラッカー（Median Flow）は0.42±0.18にとどまった。
• YOLO_KCFの組み合わせはF1スコア0.87±0.07を達成し、最良のトラッカー単体よりも優れていた一方で、最速の検出器単体よりも2倍速く（68 FPS 対 133 FPS）、高速性を兼ね備えていた。
• CPU-i5上でYOLO_KCFの組み合わせは4.4 FPSで実行され、YOLOv2単体の0.3 FPSよりも15倍速かった。
• CPU-i7上でYOLO_MFの組み合わせは、推定で20 FPSを達成し、リアルタイム導入の目標である15–20 FPSを満たした。
• 組み合わせ手法はトラッカー単体よりも標準偏差が低く、より高い頑健性と信頼性を示した。
• 本手法は外部データセットに対しても良好な一般化性能を示した：DATはEgoHandsで平均適合率0.722を達成し、カメラ被験者の手に限定して評価した場合、先行研究を上回った。