[论文解读] Explainable CNN-attention Networks (C-Attention Network) for Automated Detection of Alzheimer's Disease

Ning Wang, Mingxuan Chen+1 more|arXiv (Cornell University)|Jun 25, 2020

Machine Learning in Healthcare被引用 4

一句话总结

该论文提出C-Attention网络，一种新颖的可解释深度学习框架，结合一维卷积神经网络（1D-CNN）与自注意力机制，利用词性（PoS）标签和通用句子嵌入从语音转录文本中检测阿尔茨海默病。该模型在DementiaBank数据集上实现了92.2%的准确率和0.952的F1分数，同时通过注意力权重提供特征内部及特征类别之间的可解释性分析。

ABSTRACT

In this work, we propose three explainable deep learning architectures to automatically detect patients with Alzheimer`s disease based on their language abilities. The architectures use: (1) only the part-of-speech features; (2) only language embedding features and (3) both of these feature classes via a unified architecture. We use self-attention mechanisms and interpretable 1-dimensional ConvolutionalNeural Network (CNN) to generate two types of explanations of the model`s action: intra-class explanation and inter-class explanation. The inter-class explanation captures the relative importance of each of the different features in that class, while the inter-class explanation captures the relative importance between the classes. Note that although we have considered two classes of features in this paper, the architecture is easily expandable to more classes because of its modularity. Extensive experimentation and comparison with several recent models show that our method outperforms these methods with an accuracy of 92.2% and F1 score of 0.952on the DementiaBank dataset while being able to generate explanations. We show by examples, how to generate these explanations using attention values.

研究动机与目标

• 开发一种基于非侵入性语音转录文本的可解释深度学习框架，用于阿尔茨海默病的早期检测。
• 通过引入基于注意力的解释，解决现有深度学习模型在阿尔茨海默病检测中可解释性不足的问题。
• 在统一架构中实现多种语言学特征类型（如PoS和嵌入）的模块化集成。
• 通过仅使用语言学特征或不可解释模型的先前方法，提升模型性能与临床可解释性。
• 通过移动端应用程序在家庭环境中实现筛查，证明此类模型在真实世界场景中部署的可行性。

提出的方法

• 该模型使用一维卷积神经网络（1D-CNN）从序列化语言学特征中提取分层模式。
• 在两个层次上应用自注意力机制：特征内部（在PoS或嵌入特征内部）和特征类别之间（在PoS与嵌入之间）。
• 该架构具有模块化设计，可轻松扩展至PoS和嵌入之外的其他特征类别。
• 类别内注意力计算单个特征在特征类别内的相对重要性（例如，特定的PoS标签）。
• 类别间注意力计算不同特征类别（例如，PoS与嵌入）对最终预测的相对贡献。
• 最终预测由融合层生成，该层结合了所有特征流的注意力表示。

实验结果

研究问题

• RQ1 统一的深度学习架构能否有效结合词性标签和预训练句子嵌入以实现阿尔茨海默病检测？
• RQ2 注意力机制如何以临床可解释的方式生成特征内部与特征类别之间的解释？
• RQ3 在不同患者亚组中，PoS特征与句子嵌入在模型决策中的贡献差异有多大？
• RQ4 该模型能否在保持与临床洞察力相当的可解释性的同时实现高性能？
• RQ5 该模型的注意力分布与已知的阿尔茨海默病语言生物标志物（如代词使用）相比如何？

主要发现

• C-Attention-FT+Embedding模型在DementiaBank数据集上实现了92.2%的准确率和0.952的F1分数，优于多个近期模型。
• PoS特征中的NNPS（复数专有名词）、MD（情态动词）、EX（存在性）和PRP（人称代词）被确定为最具影响力的特征，合计占PoS特征中80.9%的注意力。
• 在65.1%的测试案例中，PoS特征流获得的注意力权重高于句子嵌入流，表明其在决策中的主导作用。
• 该模型正确分类了所有三名测试患者（包括两名AD患者和一名健康对照），其注意力权重反映了临床合理性——例如，AD患者中嵌入特征的注意力更高，反映出复杂的语言缺陷。
• 该模型的注意力模式与既往临床发现一致：AD患者倾向于使用更多代词（PRP）和更少的内容名词，这在对PRP和NNPS的高注意力中得到体现。
• 模块化设计支持扩展至其他特征类型，注意力机制为模型预测提供了可操作且人类可读的解释。