[论文解读] Exploiting Pre-Trained ASR Models for Alzheimer's Disease Recognition Through Spontaneous Speech

Ying Qin, Wei Liu+5 more|arXiv (Cornell University)|Oct 4, 2021

Speech Recognition and Synthesis参考文献 38被引用 9

一句话总结

该论文提出了一种轻量级、端到端的框架，仅微调预训练自动语音识别（ASR）模型的底层层（如 Wav2vec2.0 和 CTC-attention），用于通过自发语音识别阿尔茨海默病（AD），无需人工转录。通过将 ASR 编码器直接与简单分类器结合，该方法在长音频上达到 83.2% 的准确率，在短音频上达到 78.0%，比最佳的基于转录文本的 RoBERTa 模型高出 4.6% 的准确率。

ABSTRACT

Alzheimer's disease (AD) is a progressive neurodegenerative disease and recently attracts extensive attention worldwide. Speech technology is considered a promising solution for the early diagnosis of AD and has been enthusiastically studied. Most recent works concentrate on the use of advanced BERT-like classifiers for AD detection. Input to these classifiers are speech transcripts produced by automatic speech recognition (ASR) models. The major challenge is that the quality of transcription could degrade significantly under complex acoustic conditions in the real world. The detection performance, in consequence, is largely limited. This paper tackles the problem via tailoring and adapting pre-trained neural-network based ASR model for the downstream AD recognition task. Only bottom layers of the ASR model are retained. A simple fully-connected neural network is added on top of the tailored ASR model for classification. The heavy BERT classifier is discarded. The resulting model is light-weight and can be fine-tuned in an end-to-end manner for AD recognition. Our proposed approach takes only raw speech as input, and no extra transcription process is required. The linguistic information of speech is implicitly encoded in the tailored ASR model and contributes to boosting the performance. Experiments show that our proposed approach outperforms the best manual transcript-based RoBERTa by an absolute margin of 4.6% in terms of accuracy. Our best-performing models achieve the accuracy of 83.2% and 78.0% in the long-audio and short-audio competition tracks of the 2021 NCMMSC Alzheimer's Disease Recognition Challenge, respectively.

研究动机与目标

• 解决基于转录文本的阿尔茨海默病（AD）识别系统依赖昂贵且易出错的人工转录所带来的局限性。
• 克服在真实声学环境下自动语音识别（ASR）性能下降的问题，特别是针对 AD 患者特有的非典型语音。
• 通过利用预训练 ASR 模型中编码的语言信息，而非仅依赖声学或语调特征，提升 AD 识别性能。
• 开发一种轻量级、端到端的框架，联合优化 ASR 编码器和分类头，以提升性能和鲁棒性。
• 证明预训练 ASR 模型中的语言特异性语言表征对于有效下游 AD 识别至关重要。

提出的方法

• 仅保留预训练 ASR 模型（Wav2vec2.0 和 CTC-attention）的底层层，以提取语音表征。
• 用简单的全连接神经网络替换原始的重型 BERT 类后端分类器，实现端到端训练。
• 使用原始语音作为输入，端到端训练整个模型，无需中间转录步骤。
• 利用自监督（wav2vec2.0）和有监督（CTC-attention）的 ASR 模型作为特征提取器，并进行任务特定的微调。
• 联合微调 ASR 编码器和分类器，以适应下游的 AD 识别任务。
• 应用数据增强和类别平衡技术，以提升在类别不平衡数据集上的泛化能力。

实验结果

研究问题

• RQ1 预训练的 ASR 模型能否在无需人工转录的情况下，有效微调用于端到端的阿尔茨海默病识别？
• RQ2 与仅使用音频或基于转录文本的基线模型相比，利用预训练 ASR 模型中的语言信息是否能提升 AD 识别性能？
• RQ3 与最先进的基于转录文本的模型（如 RoBERTa）相比，基于端到端 ASR 的模型在 AD 检测中的表现如何？
• RQ4 使用语言特异性的预训练 ASR 模型（如中文与英文）对下游 AD 识别性能有何影响？
• RQ5 模型架构（如 Wav2vec2.0 与 CTC-attention）和微调策略如何影响长音频与短音频片段上的识别准确率？

主要发现

• 所提出的端到端方法在 2021 年 NCMMSC AD 识别挑战赛中，长音频赛道达到 83.2% 的准确率，短音频赛道达到 78.0% 的准确率。
• 该模型比最佳的基于转录文本的 RoBERTa 模型在准确率上高出绝对值 4.6%，证明了端到端 ASR 微调的优越性。
• Wav2vec2.0_3-2 模型在长音频上达到最高准确率（83.2%），而联合 CTC-attention 模型在短音频上达到 78.0%，表明其对语音时长有限的更强鲁棒性。
• 混淆矩阵分析显示，AD 患者最常被误分类为健康对照组，凸显了区分早期 AD 与正常语音的挑战。
• 研究证实，预训练 ASR 模型中编码的语言内容比仅依赖副语言或声学特征更具信息量，对 AD 识别更为有效。
• 使用语言特异性预训练（如中文）微调 ASR 编码器可显著提升下游性能，表明语言表征质量的重要性。