[論文レビュー] Transformers for 1D Signals in Parkinson's Disease Detection from Gait

Duc Minh Dimitri Nguyen, Mehdi Miah+2 more|arXiv (Cornell University)|Apr 1, 2022

Voice and Speech Disorders被引用数 5

ひとこと要約

本論文は、1次元の歩行信号からのパーキンソン病の検出を目的として、2段階のトランスフォーマー基盤モデルを提案する。個々の足センサー信号における時間的自己注意を用い、その後にセンサー間の空間的自己注意を適用することで、時空間的特徴を抽出する。この手法は、PhysioNetデータセットで95.2%の正確性を達成し、より高い安定性と低い分散を示し、最先端の手法を上回る性能を発揮する。

ABSTRACT

This paper focuses on the detection of Parkinson's disease based on the analysis of a patient's gait. The growing popularity and success of Transformer networks in natural language processing and image recognition motivated us to develop a novel method for this problem based on an automatic features extraction via Transformers. The use of Transformers in 1D signal is not really widespread yet, but we show in this paper that they are effective in extracting relevant features from 1D signals. As Transformers require a lot of memory, we decoupled temporal and spatial information to make the model smaller. Our architecture used temporal Transformers, dimension reduction layers to reduce the dimension of the data, a spatial Transformer, two fully connected layers and an output layer for the final prediction. Our model outperforms the current state-of-the-art algorithm with 95.2\% accuracy in distinguishing a Parkinsonian patient from a healthy one on the Physionet dataset. A key learning from this work is that Transformers allow for greater stability in results. The source code and pre-trained models are released in https://github.com/DucMinhDimitriNguyen/Transformers-for-1D-signals-in-Parkinson-s-disease-detection-from-gait.git

研究の動機と目的

• 1次元歩行信号から関連する特徴を自動で抽出できる深層学習モデルの開発を目的とする。
• トランスフォーマーが1次元信号処理、特にパーキンソン病における歩行分析に有効であるかを検証すること。
• 時間的および空間的自己注意機構を分離することで、1次元信号用のトランスフォーマー基盤モデルのメモリ消費量を低減すること。
• 従来の手作業特徴抽出法および深層学習手法と比較して、分類の安定性と性能を向上させること。
• 2ブランチトランスフォーマー・アーキテクチャが、歩行信号における長距離の時間的および空間的依存関係を効果的に捉えられることを示すこと。

提案手法

• モデルは、18チャンネルの1次元歩行信号（VGRF）の時間的依存性を抽出するために、時間的トランスフォーマー・エンコーダーを用いる。
• 次に、全結合層（FC-0）による次元削減により、系列長とメモリ使用量を低減し、空間的自己注意の前処理を行う。
• 低次元化された表現に対して、空間的トランスフォーマー・エンコーダーを適用し、足部におけるセンサー間の関係をモデル化する。
• 最終的な特徴量は、2つの全結合層およびソフトマックス出力層を通じて、2値分類に渡される。
• 入力系列長が一定であるため、位置エンコーディングには固定された正弦波埋め込みが使用される。
• 全歩行をパーキンソン病性または健康な状態として分類するために、セグメント化された歩行サイクルごとの多数決を用いる。

実験結果

リサーチクエスチョン

• RQ1 2ブランチトランスフォーマー・アーキテクチャは、1次元歩行信号からの時空間的特徴を、パーキンソン病の検出に有効に抽出できるか？
• RQ2 トランスフォーマーにおける時間的および空間的自己注意の分離は、1次元信号処理において性能とメモリ効率をどのように向上させるか？
• RQ3 提案手法は、PhysioNet歩行データセットにおいて、最先端の手法と比較してより高い正確性と低い分散を達成するか？
• RQ4 各コンポonent（時間的トランスフォーマー、空間的トランスフォーマー、次元削減）が最終的なモデル性能に与える寄与度は何か？
• RQ5 トランスフォーマーは、通常自然言語処理やビジョン分野で使用されるが、1次元バイオメディカル信号（例：歩行データ）に対しても効果的に適用可能か？

主な発見

• 提案手法は、PhysioNetデータセットで95.2%の正確性を達成し、現在の最先端手法を上回っている。
• 最近の手法と比較して、標準偏差2.3%という低い分散を示しており、予測の安定性がより高いことが示された。
• アブレーションスタディの結果、時間的トランスフォーマーまたは空間的トランスフォーマーを除去すると、正確性が低下し、標準偏差が増加することが確認された。
• 1つの時空間的トランスフォーマーを用いたモデルCは、系列長の制限によるメモリ制約のため、92.0%の正確性にとどまった。
• 時間的および空間的トランスフォーマーを別々に使用することで、管理可能なメモリ予算内で、より良い長距離依存関係のモデル化が可能になった。
• 感度98.1%は、ほぼすべてのパーキンソン病患者が正しく同定されることを示しており、特異度86.8%は、非典型な健康な歩行のパターンから誤検出が増加している可能性を示唆している。