[論文レビュー] Comparison of user models based on GMM-UBM and i-vectors for speech, handwriting, and gait assessment of Parkinson's disease patients

Juan Camilo Vásquez-Correa, Tobias Bocklet+2 more|arXiv (Cornell University)|Feb 13, 2020

Voice and Speech Disorders参考文献 25被引用数 4

ひとこと要約

本研究では、GMM-UBMおよびi-vectorユーザーモデルを用いて、健康対照群のリファレンスと比較して患者固有の特徴をモデル化することで、音声、筆圧、歩行のマルチモーダル信号を用いてパーキンソン病（PD）の重症度を評価することを提案する。GMM-UBMはi-vectorを上回り、調和的歩行、プロソディ、発音特徴を統合した際、MDS-UPDRS-IIIスケールと0.634のスピアマン順位相関を達成した。

ABSTRACT

Parkinson's disease is a neurodegenerative disorder characterized by the presence of different motor impairments. Information from speech, handwriting, and gait signals have been considered to evaluate the neurological state of the patients. On the other hand, user models based on Gaussian mixture models - universal background models (GMM-UBM) and i-vectors are considered the state-of-the-art in biometric applications like speaker verification because they are able to model specific speaker traits. This study introduces the use of GMM-UBM and i-vectors to evaluate the neurological state of Parkinson's patients using information from speech, handwriting, and gait. The results show the importance of different feature sets from each type of signal in the assessment of the neurological state of the patients.

研究の動機と目的

• マルチモーダルバイオメトリック信号（音声、筆圧、歩行）を用いて、パーキンソン病（PD）患者の神経学的状態を評価すること。
• GMM-UBMおよびi-vectorに基づくユーザーモデルが、異なるモダリティにおいてPD関連の運動障害を効果的に捉えられるかを調査すること。
• 各モダリティからの多様な特徴セットを用いて、MDS-UPDRS-IIIスコアを予測するGMM-UBMおよびi-vectorシステムの性能を比較すること。
• 個々の特徴セットおよびその統合が、神経学的状態予測の正確性を向上させる貢献度を調査すること。
• PDの重症度を客観的かつ非侵襲的に評価するための、各モダリティにおける最も情報量の多い特徴を同定すること。

提案手法

• 音声から発声、発音、プロソディを、筆圧から運動学的特徴を、歩行から調和的および非線形特徴を、モダリティ固有の特徴として抽出した。
• 個々のPD患者の信号データを用いて、ユニバーサルバックグラウンドモデル（UBM）を適応させることで、GMM-UBMシステムを訓練した。
• 年齢および性別が一致する健康対照者から構築したi-vectorリファレンスモデルを用意し、PD患者からのi-vector距離を計算した。
• 患者モデル（GMMまたはi-vector）とリファレンスモデル（UBMまたは対照i-vector）との距離メトリクスを算出し、神経学的乖離の代理指標とした。
• 距離を連結することでマルチモーダル距離を統合し、LOOCV（1人を除いた交差検証）を用いて線形回帰を適用し、MDS-UPDRS-IIIスコアを予測した。
• ピアソンおよびスピアマン相関係数、中央絶対誤差（MAE）、p値を用いて性能を評価した。

Fig. 1 : General methodology followed in this study.

実験結果

リサーチクエスチョン

• RQ1 GMM-UBMおよびi-vectorユーザーモデルは、音声、筆圧、歩行信号においてPD関連の運動障害を効果的に表現できるか？
• RQ2 音声、筆圧、歩行のうち、どのモダリティがMDS-UPDRS-IIIスコアの予測に最も情報量の多い特徴を提供するか？
• RQ3 モダリティ間の特徴統合は、単一モダリティ分析と比較して神経学的状態予測をどの程度向上させるか？
• RQ4 GMM-UBMはi-vectorモデリングを上回る性能を示すか、その場合、どのような条件下でそうなるか？
• RQ5 調和的歩行、プロソディ、運動学的筆圧などの各特徴セットが、最終的なマルチモーダル予測モデルに果たす相対的貢献度はどの程度か？

主な発見

• GMM-UBMモデルは、調和的歩行、プロソディ、発音特徴を統合した際、MDS-UPDRS-IIIスケールと0.634のスピアマン順位相関を達成し、個々のモダリティおよびi-vectorシステムを上回った。
• 調和的歩行特徴がマルチモーダルモデルにおいて最も顕著な寄与を示し、次いでプロソディおよび発音特徴が続くことから、PDにおける失語症と強い関連があることが示唆された。
• i-vectorシステムは低い性能を示し、非線形歩行特徴を用いた場合の最大スピアマン相関は0.381にとどまり、現在のリファレンスデータではPD特有の特徴をモデル化する能力に限界があることが示された。
• 筆圧の運動学的特徴は予想以上に寄与が小さく、標準的な運動学的特徴とPD特有の運動障害との不一致が原因であると考えられた。
• マルチモーダル統合により、最良の単一モダリティ結果（調和的歩行特徴）と比較して、スピアマン相関が2.4ポイント向上した。
• ランダムフォレストおよびSVRモデルはテストセットで過学習を示し、MDS-UPDRS-IIIスコアの平均値しか予測できなかった。これは、このタスクにおいて距離特徴を用いた線形回帰の方がより頑健であることを示唆している。

Fig. 2 : Prediction of the MDS-UPDRS-III score using multimodal user models based on GMM-UBM systems.