[论文解读] Combining Prosodic, Voice Quality and Lexical Features to Automatically Detect Alzheimer's Disease

Mireia Farrús, Joan Codina|arXiv (Cornell University)|Nov 18, 2020

Speech Recognition and Synthesis参考文献 30被引用 5

一句话总结

本文提出了一种多模态机器学习方法，结合自发言语中的韵律、语音质量及词汇特征，以检测阿尔茨海默病（AD）并预测简易精神状态检查（MMSE）评分。在108名平衡参与者的数据集上使用随机森林分类器，分类准确率达到87.5%，回归任务的均方根误差（RMSE）为4.54，表明词汇与韵律特征显著提升了基于声学特征的早期AD检测效果。

ABSTRACT

Alzheimer's Disease (AD) is nowadays the most common form of dementia, and its automatic detection can help to identify symptoms at early stages, so that preventive actions can be carried out. Moreover, non-intrusive techniques based on spoken data are crucial for the development of AD automatic detection systems. In this light, this paper is presented as a contribution to the ADReSS Challenge, aiming at improving AD automatic detection from spontaneous speech. To this end, recordings from 108 participants, which are age-, gender-, and AD condition-balanced, have been used as training set to perform two different tasks: classification into AD/non-AD conditions, and regression over the Mini-Mental State Examination (MMSE) scores. Both tasks have been performed extracting 28 features from speech -- based on prosody and voice quality -- and 51 features from the transcriptions -- based on lexical and turn-taking information. Our results achieved up to 87.5 % of classification accuracy using a Random Forest classifier, and 4.54 of RMSE using a linear regression with stochastic gradient descent over the provided test set. This shows promising results in the automatic detection of Alzheimer's Disease through speech and lexical features.

研究动机与目标

• 通过非侵入性、基于语音的方法提升阿尔茨海默病（AD）的早期检测能力。
• 探究韵律、语音质量与词汇特征在区分AD与非AD个体方面的有效性。
• 通过利用自发言语数据，解决AD检测系统中缺乏标准化的问题。
• 使用统一特征集，同时评估分类（AD/非AD）与回归（MMSE评分预测）任务。
• 证明结合声学与语言特征的方法在AD检测中优于仅使用声学特征的方法。

提出的方法

• 从语音信号中提取了28个韵律与语音质量特征，包括语速、抖动、闪现度与谐波度。
• 从转录后的言语中提取了51个词汇与对话轮次特征，如词汇频率、对话轮次长度与提问者干预次数。
• 使用t检验进行统计分析，识别AD组与非AD组之间显著不同的特征。
• 训练了多种机器学习模型，包括随机森林、支持向量机（SVM）、多层感知机（MLP）以及使用随机梯度下降的线性回归模型。
• 采用10折交叉验证评估模型性能，并基于统计显著性进行特征选择。
• 在最终模型训练前，通过移除MMSE异常值来提升结果性能。

实验结果

研究问题

• RQ1 自发言语中的韵律与语音质量特征能否有效区分阿尔茨海默病患者与健康对照组？
• RQ2 词汇与对话轮次特征在多大程度上提升了AD分类与MMSE回归的准确性？
• RQ3 在AD检测中，结合声学与语言特征的方法与仅使用任一模态的方法相比表现如何？
• RQ4 数据预处理（如异常值去除）对AD检测任务中模型性能有何影响？
• RQ5 语言无关的声学特征是否能在不依赖自动语音识别（ASR）或人工转录的情况下提供稳健的性能？

主要发现

• 当结合所有韵律、语音质量与词汇特征时，随机森林分类器实现了最高的分类准确率87.5%。
• 使用随机梯度下降的线性回归模型在测试集上对MMSE评分预测的RMSE达到4.54。
• 词汇与对话轮次特征显著优于仅使用声学特征的方法，尤其在降低假阴性率方面表现突出。
• 所有特征类型的组合在分类与回归任务中均取得了最佳性能。
• 移除MMSE异常值后，性能最佳的系统表现得到提升，表明数据质量对结果有显著影响。
• 仅使用声学特征的系统最高达到72.2%的准确率，表明无需ASR或转录即可实现语言无关的AD检测具有潜力。