[論文レビュー] Exploring Motion Boundaries in an End-to-End Network for Vision-based Parkinson's Severity Assessment

Amirhossein Dadashzadeh, Alan Whone+2 more|arXiv (Cornell University)|Jan 1, 2020

Parkinson's Disease Mechanisms and Treatments被引用数 8

ひとこと要約

本論文は、時間的アテンションと運動境界を用いたインフレートド3D CNNを用いたエンドツーエンドのディープラーニングフレームワークを提案し、動画からパーキンソン病の重症度を評価するもので、歩行タスクで77.1%、手の動きタスクで72.3%のトップ1精度を達成した。運動境界の導入により、カメラの動きに対して著しく頑健性が向上し、RGBや光-flowのみを用いる場合よりもモデル性能が向上したことが示された。

ABSTRACT

Evaluating neurological disorders such as Parkinson's disease (PD) is a challenging task that requires the assessment of several motor and non-motor functions. In this paper, we present an end-to-end deep learning framework to measure PD severity in two important components, hand movement and gait, of the Unified Parkinson's Disease Rating Scale (UPDRS). Our method leverages on an Inflated 3D CNN trained by a temporal segment framework to learn spatial and long temporal structure in video data. We also deploy a temporal attention mechanism to boost the performance of our model. Further, motion boundaries are explored as an extra input modality to assist in obfuscating the effects of camera motion for better movement assessment. We ablate the effects of different data modalities on the accuracy of the proposed network and compare with other popular architectures. We evaluate our proposed method on a dataset of 25 PD patients, obtaining 72.3% and 77.1% top-1 accuracy on hand movement and gait tasks respectively.

研究の動機と目的

• 動画データを用いた視覚ベースの自動的でエンドツーエンドのパーキンソン病の重症度評価手法の開発。
• カメラの動きに対して頑健性を向上させるために、運動境界を補助入力モダリティとして導入すること。
• スパースな時間的サンプリングを活用して長距離の時間的構造を捉えることで、運動タスクの時間的モデリングを強化すること。
• 重要な動画セグメントに注目できる時間的アテンション機構を統合することで分類精度を向上させること。
• UPDRSタスクパフォーマンスにおける、運動境界、光-flow、RGB入力の単体および組み合わせ効果を評価すること。

提案手法

• フレームワークは、動画スニペットからの共同空間的・時間的特徴を抽出するために、インフレートド3D畳み込みニューラルネットワーク（I3D）を採用する。
• 非重複な動画セグメントを処理できるスパースな時間的サンプリング戦略を用い、長距離の時間的ダイナミクスを効率的にモデリングする。
• 時間的アテンション機構により、各動画スニペットに学習可能な重みを割り当て、モデルが最も特徴的なセグメントに注目できるようにする。
• 光-flowから計算される運動境界を、カメラの動きの影響を抑制する追加の入力モダリティとして用いる。
• UPDRSスコアのクラス不均衡に対処するため、ファーカル損失関数を用いてエンドツーエンドでモデルを訓練する。
• 入力モダリティにはRGB、光-flow、運動境界を含み、単一ストリームおよびマルチストリーム構成を用いた実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 カメラの動きが存在する状況下でも、運動境界がパーキンソン病の重症度評価において頑健で効果的な入力モダリティとして機能するか。
• RQ2 時間的アテンションの統合が、パーキンソン病患者の運動タスク評価における分類精度をどのように向上させるか。
• RQ3 RGB、光-flow、運動境界といった異なる入力モダリティの比較的パフォーマンスは、エンドツーエンドの動画ベースUPDRSスコアリングにおいてどうなるか。
• RQ4 本手法は、TSN、I3D、SlowFastといった最先端のアーキテクチャーよりも、同じパーキンソン病の重症度評価タスクでどれほど優れているか。
• RQ5 交差エントロピー損失と比較して、ファーカル損失を用いることでモデルパフォーマンスにどのような影響が生じるか。

主な発見

• 運動境界単体で手の動きタスクで72.3%のトップ1精度を達成し、RGB（68.4%）と光-flow（71.0%）をそれぞれ3.9ポイントおよび1.3ポイント上回った。
• 歩行タスクでは、光-flowと運動境界の組み合わせが77.1%の最高精度を記録し、他の単一または二重モダリティの組み合わせをすべて上回った。
• 本手法は両タスクの平均で74.4%の精度を達成し、TSN（72.9%）、I3D（71.1%）、SlowFast（67.0%）といった最先端モデルを上回った。
• 時間的アテンション機構の導入により、すべてのモダリティで性能向上が見られ、特に手の動きタスクで最も顕著な向上が観察された。
• カテゴリカル交差エントロピー損失ではなくファーカル損失を用いることで、平均で1.3%の精度向上が達成され、UPDRSスコアのクラス不均衡対処においてその重要性が示された。
• アブレーションスタディにより、運動境界が顕著で効果的なモダリティであることが確認され、RGBと光-flowと組み合わせても性能向上が見られた。