[论文解读] Comparison of user models based on GMM-UBM and i-vectors for speech, handwriting, and gait assessment of Parkinson's disease patients

Juan Camilo Vásquez-Correa, Tobias Bocklet+2 more|arXiv (Cornell University)|Feb 13, 2020

Voice and Speech Disorders参考文献 25被引用 4

一句话总结

本研究提出使用GMM-UBM和i-vector用户模型，通过建模患者特异性特征与健康对照参考值，利用多模态信号（语音、书写和步态）评估帕金森病（PD）的严重程度。GMM-UBM在融合谐波步态、语调和发音特征时，与MDS-UPDRS-III量表的斯皮尔曼等级相关系数达到0.634，优于i-vector模型。

ABSTRACT

Parkinson's disease is a neurodegenerative disorder characterized by the presence of different motor impairments. Information from speech, handwriting, and gait signals have been considered to evaluate the neurological state of the patients. On the other hand, user models based on Gaussian mixture models - universal background models (GMM-UBM) and i-vectors are considered the state-of-the-art in biometric applications like speaker verification because they are able to model specific speaker traits. This study introduces the use of GMM-UBM and i-vectors to evaluate the neurological state of Parkinson's patients using information from speech, handwriting, and gait. The results show the importance of different feature sets from each type of signal in the assessment of the neurological state of the patients.

研究动机与目标

• 利用多模态生物特征信号（语音、书写和步态）评估帕金森病（PD）患者的神经功能状态。
• 探究基于GMM-UBM和i-vector的用户模型是否能有效捕捉不同模态中与PD相关的运动障碍。
• 比较GMM-UBM与i-vector系统在使用各模态多样化特征集预测MDS-UPDRS-III评分时的性能表现。
• 探讨各特征集及其融合在提升神经功能状态预测准确度方面的贡献。
• 识别跨模态中最具信息量的特征，以实现客观且非侵入性的PD严重程度评估。

提出的方法

• 提取各模态特异性特征：语音中的发声、发音和语调特征；书写中的运动学特征；步态中的谐波特征与非线性特征。
• 通过将通用背景模型（UBM）适配至PD患者个体信号数据，训练GMM-UBM系统。
• 基于与患者年龄和性别匹配的健康对照受试者构建参考i-vector模型，随后计算PD患者与参考模型之间的i-vector距离。
• 将患者模型（GMM或i-vector）与参考模型（UBM或对照i-vector）之间的距离度量作为神经功能偏离程度的代理指标。
• 通过拼接方式融合多模态距离，并采用线性回归模型，利用留一法交叉验证预测MDS-UPDRS-III评分。
• 采用皮尔逊相关系数、斯皮尔曼等级相关系数、中位数绝对误差（MAE）和p值评估性能表现。

Fig. 1 : General methodology followed in this study.

实验结果

研究问题

• RQ1 GMM-UBM与i-vector用户模型是否能有效表征语音、书写和步态信号中与PD相关的运动障碍？
• RQ2 在语音、书写和步态中，哪种模态提供的特征对预测MDS-UPDRS-III评分最具信息量？
• RQ3 多模态特征融合相较于单模态分析，在提升神经功能状态预测方面有何改进？
• RQ4 GMM-UBM是否在评估PD严重程度方面优于i-vector建模？若如此，其适用条件为何？
• RQ5 各特征集（如谐波步态、语调、运动学书写特征）对最终多模态预测模型的相对贡献如何？

主要发现

• 当融合谐波步态、语调和发音特征时，GMM-UBM模型与MDS-UPDRS-III量表的斯皮尔曼相关系数达到0.634，优于单模态系统和i-vector系统。
• 谐波步态特征对多模态模型的贡献最大，其次为语调和发音特征，表明其与PD相关构音障碍具有强相关性。
• i-vector系统表现较差，其最大斯皮尔曼相关系数仅为0.381（使用非线性步态特征），表明当前参考数据在建模PD特异性特征方面存在局限。
• 书写运动学特征的贡献低于预期，可能由于标准运动学特征与PD特异性运动障碍之间存在不匹配。
• 与最佳单模态结果（谐波步态特征）相比，多模态融合使斯皮尔曼相关系数提升了2.4个百分点。
• 随机森林与SVR模型在测试集上出现过拟合，仅预测出MDS-UPDRS-III的均值，表明本任务中使用距离特征的线性回归更具鲁棒性。

Fig. 2 : Prediction of the MDS-UPDRS-III score using multimodal user models based on GMM-UBM systems.