[论文解读] Deep brain state classification of MEG data

Ismail Alaoui Abdellaoui, Jesús García Fernández+2 more|arXiv (Cornell University)|Jul 2, 2020

EEG and Brain-Computer Interfaces参考文献 31被引用 4

一句话总结

本文提出三种深度学习架构——AA-CascadeNet、AA-MultiviewNet以及一种带有注意力机制的紧凑CNN——用于利用人类连接组计划（Human Connectome Project）的MEG数据进行跨被试的多类别脑状态分类。通过将自注意力（self-attention）和全局注意力（global attention）机制整合到卷积神经网络与LSTM模型中，该方法提升了模型的泛化能力，准确率最高达到94%，在无需领域特定特征工程的情况下，展现出在不同被试间更优的性能与鲁棒性。

ABSTRACT

Neuroimaging techniques have shown to be useful when studying the brain's activity. This paper uses Magnetoencephalography (MEG) data, provided by the Human Connectome Project (HCP), in combination with various deep artificial neural network models to perform brain decoding. More specifically, here we investigate to which extent can we infer the task performed by a subject based on its MEG data. Three models based on compact convolution, combined convolutional and long short-term architecture as well as a model based on multi-view learning that aims at fusing the outputs of the two stream networks are proposed and examined. These models exploit the spatio-temporal MEG data for learning new representations that are used to decode the relevant tasks across subjects. In order to realize the most relevant features of the input signals, two attention mechanisms, i.e. self and global attention, are incorporated in all the models. The experimental results of cross subject multi-class classification on the studied MEG dataset show that the inclusion of attention improves the generalization of the models across subjects.

研究动机与目标

• 开发端到端的深度学习模型，从MEG数据中解码脑状态，且不依赖于领域特定的特征工程。
• 探究注意力机制（特别是自注意力与全局注意力）在提升模型跨被试泛化能力方面的有效性。
• 探索EEG-based深度学习架构向MEG数据的可迁移性，尽管两者在信号特性上存在差异。
• 在不同规模的训练数据和被试数量下评估模型性能，分析其鲁棒性与可扩展性。

提出的方法

• 提出AA-CascadeNet，一种混合架构，结合一维卷积层、双向LSTM与带有多头自注意力机制的注意力增强卷积模块。
• 引入AA-MultiviewNet，一种多流网络，通过早期融合与注意力机制，将来自两个并行分支（空间与时间）的特征进行融合。
• 采用注意力增强的卷积模块，结合局部卷积特征提取与全局自注意力机制，以捕捉MEG信号中的长程依赖关系。
• 同时应用自注意力与全局注意力机制：自注意力在时间步之间计算查询-键-值的交互，而全局注意力则聚焦于LSTM输出中的关键时间片段。
• 所有模型均使用残差连接与批量归一化，以稳定训练并改善梯度流动。
• 所有模型均采用交叉熵损失与Adam优化器进行端到端训练，并基于验证损失采用早停策略。

实验结果

研究问题

• RQ1 带有注意力机制的深度神经网络在多被试MEG脑状态分类中的性能提升程度如何？
• RQ2 自注意力与全局注意力的结合如何影响模型在未见被试上的泛化能力与性能表现？
• RQ3 尽管信号分辨率与噪声特性存在差异，所提出的架构是否能有效从EEG模型迁移至MEG数据？
• RQ4 训练数据量（被试数量）的变化如何影响模型性能与稳定性？
• RQ5 在提升分类准确率与特征可解释性方面，自注意力与全局注意力中哪一种机制的贡献更为显著？

主要发现

• 同时引入自注意力与全局注意力机制显著提升了模型的泛化能力，性能最佳的模型在多视图架构上达到了94%的准确率。
• 结合两种注意力机制的AA-MultiviewNet实现了最高准确率（94%）与最低标准差（6%），表明在不同训练设置下具有高度一致性。
• 带有注意力机制的模型在深层网络中表现出更好的特征图保持能力，能够维持MEG信号中如菱形形状的空间模式。
• 全局注意力权重显示，网络更关注特定时间步（如时间流中的输入1、3、4、7、8），表明其对关键信号段具有选择性注意。
• 无注意力机制的模型在深层网络中特征图变得稀疏，而注意力增强的模型则保留了更丰富、更具信息量的表征。
• 注意力机制带来的性能增益在训练数据量较大时最为显著，表明当数据充足时，注意力有助于模型学习到更鲁棒、更具泛化能力的表征。