[论文解读] Detecting cognitive impairments by agreeing on interpretations of linguistic features

Zining Zhu, Jekaterina Novikova+1 more|arXiv (Cornell University)|Aug 20, 2018

Topic Modeling参考文献 40被引用 5

一句话总结

本文提出共识网络（Consensus Networks, CNs），一种新颖的深度学习框架，通过对抗性训练使神经网络在不同语言模态——声学、句法和语义——之间学习共享表征，从而提升认知障碍的检测性能。在使用全部413个语言特征的情况下，CNs在痴呆与对照组分类任务中达到79.98%的宏平均F1分数，显著优于传统分类器和当前最先进基线模型。

ABSTRACT

Linguistic features have shown promising applications for detecting various cognitive impairments. To improve detection accuracies, increasing the amount of data or the number of linguistic features have been two applicable approaches. However, acquiring additional clinical data can be expensive, and hand-crafting features is burdensome. In this paper, we take a third approach, proposing Consensus Networks (CNs), a framework to classify after reaching agreements between modalities. We divide linguistic features into non-overlapping subsets according to their modalities, and let neural networks learn low-dimensional representations that agree with each other. These representations are passed into a classifier network. All neural networks are optimized iteratively. In this paper, we also present two methods that improve the performance of CNs. We then present ablation studies to illustrate the effectiveness of modality division. To understand further what happens in CNs, we visualize the representations during training. Overall, using all of the 413 linguistic features, our models significantly outperform traditional classifiers, which are used by the state-of-the-art papers.

研究动机与目标

• 解决现有方法依赖昂贵数据收集或人工密集型特征工程来检测认知障碍的局限性。
• 通过利用多语言模态间的共享信息，在不获取新数据或新特征的前提下提升分类准确率。
• 开发一种框架，促使神经网络在不同语言模态间学习一致的、低维的表征。
• 评估模态划分、噪声模态和协同优化在提升模型性能方面的有效性。
• 通过训练过程中学习表征的可视化，提供可解释性洞察。

提出的方法

• 该框架根据声学、句法和语义特征，将413个语言特征划分为互不重叠的模态。
• 每个模态由专用的神经网络（'ePhysician'）处理，学习低维表征，以与其他模态的表征达成一致。
• 采用对抗性训练最小化判别器损失，促使不同模态的表征难以区分，从而促进共识。
• 引入噪声模态作为正则化组件，通过在表征空间中提供一个中心参考点，稳定训练并提升泛化能力。
• 协同优化同步训练所有ePhysician和判别器，确保向共识目标的联合优化。
• 最终分类器在共识表征上进行训练，所有组件通过迭代方式联合优化。

实验结果

研究问题

• RQ1 对抗性训练是否可用于对齐不同语言模态间的表征，从而提升认知障碍检测性能？
• RQ2 将语言特征划分为非重叠模态并鼓励其间达成一致，是否能带来优于传统方法的分类性能？
• RQ3 噪声模态和协同优化在提升共识网络框架的稳定性和准确性方面起到何种作用？
• RQ4 所学习的表征在多大程度上捕捉了与认知状态相关的复杂非高斯模式？
• RQ5 当使用相同的413个语言特征时，共识机制是否能超越SVM、RF和MLP等标准分类器？

主要发现

• 共识网络（CN）模型在痴呆与对照组分类任务中达到79.98%的宏平均F1分数，显著优于最佳传统分类器（MLP）的75.61%宏平均F1分数。
• 消融实验确认，模态划分和共识学习至关重要，缺乏一致机制的模型（如MLP）性能劣于CNs。
• 使用PCA进行可视化显示，不同模态的表征形成对称且不重叠的聚类，表明其捕捉了互补信息，同时保持了各自的身份特征。
• 在收敛时，判别器损失维持在较低水平（约10^-3），证实表征并非完全相同，但已高度对齐，表明实现了有效共识而未发生崩溃。
• 在训练过程中，前几个主成分所解释的方差逐渐增加，表明共识表征变得更加简洁，并聚焦于共享的、具有判别性的模式。
• 验证集上的准确率在训练过程中稳步提升，证实共识机制增强了对认知障碍检测相关特征的学习。