[论文解读] Deep Semantic Architecture with discriminative feature visualization for neuroimage analysis

Arna Ghosh, Fabien Dal Maso+3 more|arXiv (Cornell University)|May 29, 2018

EEG and Brain-Computer Interfaces参考文献 26被引用 5

一句话总结

本文提出一种具有新颖线索融合机制的深度卷积神经网络（ccCAM）方法，用于识别运动任务中运动诱导的脑电信号变化。通过在时频域和脑地形图上进行训练，该模型可视化了具有区分性的时空神经模式，揭示了与急性运动效应相关的23–33 Hz频段及传播性皮层活动——为神经影像学中基于先验的特征选择提供了一种数据驱动的替代方案。

ABSTRACT

Neuroimaging data analysis often involves \emph{a-priori} selection of data features to study the underlying neural activity. Since this could lead to sub-optimal feature selection and thereby prevent the detection of subtle patterns in neural activity, data-driven methods have recently gained popularity for optimizing neuroimaging data analysis pipelines and thereby, improving our understanding of neural mechanisms. In this context, we developed a deep convolutional architecture that can identify discriminating patterns in neuroimaging data and applied it to electroencephalography (EEG) recordings collected from 25 subjects performing a hand motor task before and after a rest period or a bout of exercise. The deep network was trained to classify subjects into exercise and control groups based on differences in their EEG signals. Subsequently, we developed a novel method termed the cue-combination for Class Activation Map (ccCAM), which enabled us to identify discriminating spatio-temporal features within definite frequency bands (23--33 Hz) and assess the effects of exercise on the brain. Additionally, the proposed architecture allowed the visualization of the differences in the propagation of underlying neural activity across the cortex between the two groups, for the first time in our knowledge. Our results demonstrate the feasibility of using deep network architectures for neuroimaging analysis in different contexts such as, for the identification of robust brain biomarkers to better characterize and potentially treat neurological disorders.

研究动机与目标

• 开发一种无需依赖先验特征选择的数据驱动深度学习框架，特别适用于神经影像学，尤其是EEG分析。
• 识别与急性运动对运动学习影响相关的具有区分性的时空神经模式。
• 利用一种新颖的可解释性方法，可视化运动诱导的脑活动调节背后的神经机制。
• 实现在小样本神经影像学研究中检测细微且具有群体特异性的神经生物标志物。
• 证明即使在数据有限的情况下，深度学习结合可解释性方法在EEG分析中的可行性。

提出的方法

• 采用双流卷积神经网络架构，从干预前和干预后（运动/休息）的EEG数据中提取特征。
• 引入个体预测对抗网络，以学习与个体无关的、具有群体区分性的特征，而非个体特异性特征。
• 采用分层训练策略：首先在时频表示上进行训练，随后在皮层地形图上进行训练。
• 开发一种新颖的ccCAM方法，通过融合多种线索（如类别激活与梯度信息）来可视化具有区分性的脑区和频率。
• 利用跨受试者的组平均ccCAM结果，识别一致的频段及时空传播模式。
• 应用正则化器以防止模型对单个受试者过拟合，提升在小样本数据集中的泛化能力。

实验结果

研究问题

• RQ1 在运动任务中，EEG信号的哪些频段在急性运动后表现出显著调制？
• RQ2 急性运动如何改变等长握力任务中皮层上神经活动的时空动力学？
• RQ3 具有可解释性特征可视化的深度学习模型能否检测到传统先验特征选择未能捕捉到的细微、具有区分性的神经模式？
• RQ4 所提出的ccCAM方法在多大程度上能够揭示运动响应下神经活动在皮层区域间的传播？
• RQ5 该模型在无需大规模数据集的情况下，是否在小样本神经影像学研究中仍具备鲁棒性和有效性？

主要发现

• ccCAM识别出23–33 Hz频段在运动组与对照组之间最具区分性，ccCAM输出的p值为0.021。
• 当使用脑地形图EEG数据区分组别时，模型分类准确率达到98.70%（对照组为98.94%，运动组为98.43%）。
• 23–33 Hz频段中ccCAM的负值表明运动后事件相关去同步化（ERD）减少，提示完成任务所需的神经活动降低。
• 本研究首次通过ccCAM视频分析揭示了在等长握力任务中，从顶叶皮层到运动皮层的传播性皮层活动模式。
• ccCAM结果与先前研究一致，但识别出比以往更窄、更具体的频段（23–33 Hz），而非先前使用的宽频带β波（15–29 Hz）。
• 通过正则化器防止对单个受试者的过拟合，模型在小样本EEG研究中表现出有效性。