[論文レビュー] Automatic Health Problem Detection from Gait Videos Using Deep Neural Networks

Rahil Mehrizi, Xi Peng+3 more|arXiv (Cornell University)|Jun 4, 2019

Gait Recognition and Analysis参考文献 37被引用数 9

ひとこと要約

本論文では、消費者用カメラを用いて、動画から抽出した3次元ボディポーズの時系列を分析することで、パーキンソン病、脳卒中後状態、整形外科的問題を含む歩行関連の健康問題を検出する深層学習システムを提案する。この手法は56–96%の分類精度を達成し、誤検出率（1/25）と誤逸脱率（1/70）が低く抑えられており、専門的な装置や手動による特徴量設計を必要とせず、実用的な家庭内での歩行モニタリングを可能にする。

ABSTRACT

The aim of this study is developing an automatic system for detection of gait-related health problems using Deep Neural Networks (DNNs). The proposed system takes a video of patients as the input and estimates their 3D body pose using a DNN based method. Our code is publicly available at https://github.com/rmehrizi/multi-view-pose-estimation. The resulting 3D body pose time series are then analyzed in a classifier, which classifies input gait videos into four different groups including Healthy, with Parkinsons disease, Post Stroke patient, and with orthopedic problems. The proposed system removes the requirement of complex and heavy equipment and large laboratory space, and makes the system practical for home use. Moreover, it does not need domain knowledge for feature engineering since it is capable of extracting semantic and high level features from the input data. The experimental results showed the classification accuracy of 56% to 96% for different groups. Furthermore, only 1 out of 25 healthy subjects were misclassified (False positive), and only 1 out of 70 patients were classified as a healthy subject (False negative). This study presents a starting point toward a powerful tool for automatic classification of gait disorders and can be used as a basis for future applications of Deep Learning in clinical gait analysis. Since the system uses digital cameras as the only required equipment, it can be employed in domestic environment of patients and elderly people for consistent gait monitoring and early detection of gait alterations.

研究の動機と目的

• ビデオ入力のみを用いて、自動的かつ低コストな歩行関連健康問題の検出システムを開発すること。
• 消費者用カメラを活用することで、高価な装置や臨床ラボ環境を排除すること。
• 深層ニューラルネットワークが生動的な意味的特徴を直接ビデオデータから学習できるようにすることで、ドメイン特化型の特徴量設計を回避すること。
• 高齢者やリスクのある個人における歩行障害の早期発見を可能にするために、家庭環境で継続的な歩行モニタリングを実現すること。
• 実世界での展開性を備えた臨床的歩行解析における深層学習応用の基盤を構築すること。

提案手法

• システムは、深層ニューラルネットワークを用いて、時間経過に伴う3次元ボディポーズを推定し、関節位置の時系列系列を生成する。
• 得られた3次元ポーズ時系列は、4つのカテゴリ（健常、パーキンソン病、脳卒中後、整形外科的問題）を区別する分類器に供給される。
• この手法はエンド・ツー・エンド学習に依存しており、生動的な意味的表現を生動的なビデオから抽出できるようにすることで、ドメイン特化型の特徴量設計を回避する。
• 標準的なデジタルカメラを入力として使用するため、家庭やコミュニティ環境での展開に適している。
• システムは、臨床的アノテーションが付与された歩行ビデオデータセットを用いて訓練および評価され、DNNベースのポーズ推定パイプラインが使用される。
• 最終的な分類モデルは、誤分類を最小限に抑えるように訓練され、健常者および患者の両グループで優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 消費者用カメラからのビデオデータのみを用いて、深層学習システムが歩行障害を正確に分類できるか？
• RQ2 エンド・ツー・エンドの深層ニューラルネットワークは、歩行解析において、どの程度手動による特徴量設計を置き換えることができるか？
• RQ3 実世界の歩行モニタリング状況において、このシステムは誤検出および誤逸脱をどの程度低減できるか？
• RQ4 提案手法は家庭環境に展開可能で、一貫した長期的な歩行モニタリングが可能か？
• RQ5 特別なハードウェアを用いずに、多様な歩行障害に対してどの程度の分類精度が達成できるか？

主な発見

• システムは4つの健康状態カテゴリーにおいて、56%から96%の分類精度を達成し、パーキンソン病および整形外科的問題の分類で最高の性能を示した。
• 25名の健常者のうち1名が歩行障害と誤って分類されたが、これは非常に低い誤検出率を示している。
• 70名の患者のうち1名が健常者と誤って分類されたが、これは低い誤逸脱率を示している。
• この手法により、専用装置やラボインfraストラクチャの必要性が完全に排除され、家庭内での展開が可能になった。
• 専門家が定義した特徴量を必要とせず、微細な歩行異常を効果的に検出できることが実証された。
• 結果から、臨床的およびgeriatricケア分野におけるスケーラブルで自動化された歩行モニタリングの強力な可能性が示された。