[论文解读] Detecting Alzheimer's Disease Using Gated Convolutional Neural Network from Audio Data

Tifani Warnita, Nakamasa Inoue+1 more|arXiv (Cornell University)|Mar 30, 2018

Speech Recognition and Synthesis参考文献 21被引用 6

一句话总结

该论文提出了一种非语言、门控卷积神经网络（GCNN），仅使用语音中的音频特征进行阿尔茨海默病检测，避免依赖转录文本或语言特异性语言线索。该方法在Pitt语料库上实现了73.6%的准确率，比SMO高出7.6个百分点，并且即使在未进行话语级分割的情况下也表现出良好的鲁棒性。

ABSTRACT

We propose an automatic detection method of Alzheimer's diseases using a gated convolutional neural network (GCNN) from speech data. This GCNN can be trained with a relatively small amount of data and can capture the temporal information in audio paralinguistic features. Since it does not utilize any linguistic features, it can be easily applied to any languages. We evaluated our method using Pitt Corpus. The proposed method achieved the accuracy of 73.6%, which is better than the conventional sequential minimal optimization (SMO) by 7.6 points.

研究动机与目标

• 开发一种低资源、与语言无关的方法，仅使用语音音频进行阿尔茨海默病的早期检测。
• 利用常用于情感识别的副语言特征（如语调和声音质量），检测神经退行性病变引起的语音变化。
• 通过采用门控卷积神经网络，在小样本数据集上提升性能，以捕捉音频中的时间模式。
• 评估当话语边界未知时模型的鲁棒性，从而实现在无需转录文本情况下的实际部署。
• 建立一种非语言、仅基于音频的阿尔茨海默病检测基线，该基线可在不同语言间泛化，并对信道和噪声变化具有鲁棒性。

提出的方法

• 使用openSMILE的IS10特征集作为输入，训练门控卷积神经网络（GCNN）以提取语音音频中的副语言特征。
• 门控机制动态调节特征图，增强网络在低资源环境下学习相关时间模式的能力。
• 对Pitt语料库的音频数据进行预处理，包括归一化、使用转录文本将语音分割为话语，以及应用淡入淡出处理。
• 采用10折交叉验证方案，确保各折之间无受试者重叠，从而最小化数据泄露和说话人偏差。
• 通过话语级预测结果的多数投票方式进行受试者级别的分类评估。
• 改变分割长度（500ms至4295ms），以评估在未知话语边界情况下的性能表现。

实验结果

研究问题

• RQ1 仅基于音频特征训练的深度学习模型，是否能比传统方法（如SMO）更准确地检测阿尔茨海默病？
• RQ2 在小样本、非语言音频数据集上，CNN中引入门控机制是否能提升分类性能？
• RQ3 当话语边界未知时，该模型的鲁棒性如何？能否在使用固定长度音频片段的情况下保持高准确率？
• RQ4 非语言方法是否能跨语言泛化，特别是在低资源语言中，且无需转录文本？
• RQ5 哪种副语言特征集在语音阿尔茨海默病检测中表现最佳？

主要发现

• 所提出的GCNN在Pitt语料库上实现了73.6%的准确率，比SMO基线高出7.6个百分点。
• IS10特征集在所有openSMILE配置中表现最佳，尤其得益于对发声概率以及抖动/闪光的增强表示。
• 门控机制将平均准确率从标准CNN的66.1%提升至GCNN的73.6%，证明其在建模时间动态方面的有效性。
• 使用4000ms的固定长度片段时，10层GCNN达到69.8%的准确率，接近使用理想话语边界时实现的72.2%准确率。
• 即使在未使用话语边界信息的情况下，模型仍保持优异性能，表明其在无需转录文本的实际部署中具有可行性。
• 在所有测试配置中，10层GCNN结合IS10特征集实现了最高准确率（73.6%）。