[論文レビュー] Multimodal Gait Recognition for Neurodegenerative Diseases

Aite Zhao, Jianbo Li+6 more|arXiv (Cornell University)|Jan 7, 2021

Gait Recognition and Analysis参考文献 42被引用数 5

ひとこと要約

本論文は、加速度計、力センシング抵抗、3次元スケルトン、シルエット画像などの複数のセンサーからのデータを統合することで、神経変性疾患（NDD）およびパーキンソン病（PD）の重症度分類を向上させる、新しいマルチモーダル歩行認識フレームワークを提案する。本手法は空間的特徴抽出器（SFE）、時間的モデリングに用いる相関記憶ニューラルネットワーク（CorrMNN）、および統合的特徴学習に用いるマルチスイッチディスクラミネーターを採用し、SDUgaitデータセットで98.79%の正確性を達成し、最先端手法を上回る性能を示した。

ABSTRACT

In recent years, single modality based gait recognition has been extensively explored in the analysis of medical images or other sensory data, and it is recognised that each of the established approaches has different strengths and weaknesses. As an important motor symptom, gait disturbance is usually used for diagnosis and evaluation of diseases; moreover, the use of multi-modality analysis of the patient's walking pattern compensates for the one-sidedness of single modality gait recognition methods that only learn gait changes in a single measurement dimension. The fusion of multiple measurement resources has demonstrated promising performance in the identification of gait patterns associated with individual diseases. In this paper, as a useful tool, we propose a novel hybrid model to learn the gait differences between three neurodegenerative diseases, between patients with different severity levels of Parkinson's disease and between healthy individuals and patients, by fusing and aggregating data from multiple sensors. A spatial feature extractor (SFE) is applied to generating representative features of images or signals. In order to capture temporal information from the two modality data, a new correlative memory neural network (CorrMNN) architecture is designed for extracting temporal features. Afterwards, we embed a multi-switch discriminator to associate the observations with individual state estimations. Compared with several state-of-the-art techniques, our proposed framework shows more accurate classification results.

研究の動機と目的

• 神経変性疾患（NDD）に関連する微細な歩行変化を検出するための単一モダリティ歩行認識の限界を解消すること。
• 加速度、力センシング、3次元スケルトン、画像などの異種センサー情報を複数のモダリティにわたって統合することで、分類精度を向上させること。
• 健康な個人、さまざまなNDDを有する患者、および異なるPD重症度レベルを区別できる、空間的および時間的歩行特徴を捉える統合的ディープラーニングフレームワークの構築。
• エンド・トゥ・エンド学習を用いて、NDDs、PDgait、SDUgaitの3つのベンチマークデータセット上でモデルの有効性を検証すること。

提案手法

• 異種センサー情報から周波数領域および時間領域特徴を抽出し、それらをフィッシャー特徴ベクトルに符号化するため、空間的特徴抽出器（SFE）を用いる。
• 時間経過にわたる多モーダル信号間の相関を捉えることで、時間的依存性をモデル化する、新しい相関記憶ニューラルネットワーク（CorrMNN）を設計する。
• CorrMNNは、相関に配慮したメカニズムを通じてモダリティ固有の特徴を統合し、微細な歩行変動の表現学習を強化する。
• 統合された特徴と個々の疾患状態および重症度レベルを関連付けるために、マルチスイッチディスクラミネーターを導入し、分類のロバスト性を向上させる。
• 特徴統合を表現レベルで行うエンド・トゥ・エンド学習を採用し、空間的・時間的・分類コンポーネントの共同最適化を可能にする。
• t-SNE可視化を用いて特徴の分離性を評価し、特徴学習後に異なる歩行クラスのクラスタリングが明確に分離されていることを確認した。

実験結果

リサーチクエスチョン

• RQ1 加速度計、力センシング、3次元スケルトン、画像などの多様なセンサーからの歩行データをマルチモーダル統合することで、単一モダリティ手法に比べて神経変性疾患の分類精度が向上するか？
• RQ2 相関記憶ニューラルネットワーク（CorrMNN）は、歩行信号における時間的依存性およびクロスモダリティ相関をどれほど効果的にモデル化できるか？
• RQ3 マルチスイッチディスクラミネーターの統合は、疾患タイプおよびPD重症度段階ごとの歩行パターンの識別性をどの程度向上させるか？
• RQ4 提案されたハイブリッドモデルは、健康な個人、パーキンソン病、ハンチントン病、筋萎縮性側索硬化症を区別する上で優れた性能を示すか？
• RQ5 個々のコンポーネント（SFE、CorrMNN、マルチスイッチディスクラミネーター）は、全体の分類精度および特徴分離性にどの程度寄与しているか？

主な発見

• 提案されたハイブリッドモデルは、SDUgaitデータセットで98.79%の分類正確性を達成し、DCCA（96.17%）およびBiLSTMなどの最先端手法を上回った。
• 相関モデリングを行わないDCMNNに比べ、CorrMNNモジュールはより高い正確性を示し、特徴学習におけるクロスモダリティ相関の重要性を裏付けた。
• SFEモジュールはLDAおよびフィッシャー特徴ベクトルに比べて、より分離性の高い特徴を生成し、高い分類正確性を達成しており、空間的表現学習の有効性を示した。
• t-SNE可視化により、提案モデルが抽出した特徴は強力なクラス分離性を示しており、異なる歩行クラス間の重複が最小限に抑えられていることが確認された。
• PDgaitデータセットでは、PD重症度レベル2、2.5、3の平均認識率がそれぞれ94.92%、89.08%、93.69%を記録し、重症度段階にわたり一貫した性能を示した。
• マルチスイッチディスクラミネーターは分類性能を顕著に向上させ、全モデルはすべての個別コンポーネントを上回る性能を示し、マルチモーダル学習における共同最適化の価値を確認した。