[论文解读] Alzheimer's Disease Detection from Spontaneous Speech through Combining Linguistic Complexity and (Dis)Fluency Features with Pretrained Language Models

Yu Qiao, Xuefeng Yin+2 more|arXiv (Cornell University)|Jun 16, 2021

Topic Modeling参考文献 33被引用 8

一句话总结

该论文提出了一种混合方法，通过结合语言复杂度和（非）流畅性特征与微调的 BERT 和 ERNIE 语言模型，实现阿尔茨海默病的检测。通过采用这些组件的堆叠集成方法，该方法在 ADReSSo 2021 测试集上实现了 83.1% 的准确率——比基线高出 4.23%，通过互补建模可解释的语言特征与深度上下文表示，显著提升了鲁棒性与性能。

ABSTRACT

In this paper, we combined linguistic complexity and (dis)fluency features with pretrained language models for the task of Alzheimer's disease detection of the 2021 ADReSSo (Alzheimer's Dementia Recognition through Spontaneous Speech) challenge. An accuracy of 83.1% was achieved on the test set, which amounts to an improvement of 4.23% over the baseline model. Our best-performing model that integrated component models using a stacking ensemble technique performed equally well on cross-validation and test data, indicating that it is robust against overfitting.

研究动机与目标

• 通过将语言复杂度和（非）流畅性特征与预训练语言模型相结合，提升从自发语音中自动检测阿尔茨海默病的性能。
• 通过利用集成技术，特别是堆叠方法，缓解低数据环境下模型的过拟合问题，以整合多样化的特征组。
• 评估可解释的语言特征（复杂度、流畅性）是否能与 BERT 和 ERNIE 的深度上下文表征在阿尔茨海默病分类中形成互补。
• 将性能与 ADReSSo 2021 挑战基线进行基准对比，该基线融合了语言和声学特征。
• 通过证明白盒语言特征可达到黑盒 Transformer 模型的性能，推动医疗人工智能中的模型可解释性。

提出的方法

• 该方法结合了三类特征：语言复杂度（如词汇多样性、句法复杂度）、（非）流畅性指标（如停顿时长、频率）以及来自 BERT 和 ERNIE 的上下文嵌入。
• 使用自动语音识别（AppTek 的云 API）将音频转录为文本，并通过强制对齐提取停顿时长和置信度分数。
• 在话语层面提取语言复杂度和（非）流畅性特征，并作为独立分类器（如逻辑回归、CNN）的输入。
• 使用标准自然语言处理微调流程，在 ASR 转录文本上对预训练语言模型（BERT 和 ERNIE）进行微调。
• 评估了三种集成策略：通过多数投票的袋装法、特征融合以及堆叠——其中各模型的预测结果被拼接并作为元学习器（逻辑回归）的输入。
• 堆叠分两个阶段实施：首先通过 5 折交叉验证训练各独立模型；其次将它们的预测结果拼接，并用于在验证集上训练元分类器。

实验结果

研究问题

• RQ1 语言复杂度和（非）流畅性特征是否能提升预训练语言模型在自发语音中阿尔茨海默病检测中的性能？
• RQ2 通过堆叠等方法集成多个模型是否能增强在低资源阿尔茨海默病检测任务中的鲁棒性与泛化能力？
• RQ3 可解释的语言特征在阿尔茨海默病分类中的性能与端到端深度学习模型相比如何？
• RQ4 不同集成技术在小样本阿尔茨海默病数据集上训练的模型中，对缓解过拟合的效力如何？
• RQ5 结合人类可解释特征与深度上下文表征的混合模型是否能在 ADReSSo 2021 挑战中实现最先进性能？

主要发现

• 性能最佳的模型通过堆叠方法将逻辑回归模型（基于复杂度和（非）流畅性特征）与 BERT 和 ERNIE 模型结合，在测试集上达到 83.1% 的准确率——比基线高出 4.23%。
• 模型 C（堆叠）在交叉验证（83.16%）和测试数据（83.10%）上表现一致，表明其具有强鲁棒性且过拟合程度极低。
• 相比之下，采用多数投票袋装法或特征融合的模型在测试集上性能显著下降，表明存在过拟合，尤其是模型 A（测试集 78.87% vs. CV）和模型 B（测试集 74.65% vs. CV）。
• 语言复杂度和（非）流畅性特征的整合使微调后的预训练模型性能提升了约 3%，表明其编码了互补信息。
• 仅基于话语层面复杂度和（非）流畅性特征训练的逻辑回归模型在 5 折交叉验证中达到约 80% 的准确率，与微调后的 BERT 和 ERNIE 模型性能相当，凸显了可解释特征的价值。
• 堆叠集成有效结合了多种信号类型——语言特征、流畅性特征以及上下文嵌入，从而构建出一个鲁棒且高性能的临床相关阿尔茨海默病检测系统。