[论文解读] Attention module improves both performance and interpretability of 4D fMRI decoding neural network

Zhoufan Jiang, Yanming Wang+7 more|arXiv (Cornell University)|Oct 3, 2021

Functional Brain Connectivity Studies参考文献 26被引用 4

一句话总结

本文提出一种带有自注意力模块的4D卷积神经网络，用于从fMRI数据解码脑状态，在HCP任务基准上实现了97.4%的准确率。注意力机制通过在网络深度上分层突出显示与任务相关的脑区，提升了模型性能与可解释性。

ABSTRACT

Decoding brain cognitive states from neuroimaging signals is an important topic in neuroscience. In recent years, deep neural networks (DNNs) have been recruited for multiple brain state decoding and achieved good performance. However, the open question of how to interpret the DNN black box remains unanswered. Capitalizing on advances in machine learning, we integrated attention modules into brain decoders to facilitate an in-depth interpretation of DNN channels. A 4D convolution operation was also included to extract temporo-spatial interaction within the fMRI signal. The experiments showed that the proposed model obtains a very high accuracy (97.4%) and outperforms previous researches on the 7 different task benchmarks from the Human Connectome Project (HCP) dataset. The visualization analysis further illustrated the hierarchical emergence of task-specific masks with depth. Finally, the model was retrained to regress individual traits within the HCP and to classify viewing images from the BOLD5000 dataset, respectively. Transfer learning also achieves good performance. A further visualization analysis shows that, after transfer learning, low-level attention masks remained similar to the source domain, whereas high-level attention masks changed adaptively. In conclusion, the proposed 4D model with attention module performed well and facilitated interpretation of DNNs, which is helpful for subsequent research.

研究动机与目标

• 为解决用于fMRI解码的深度神经网络（DNN）模型中存在的可解释性挑战。
• 提升在复杂、多任务fMRI数据集（如人类连接组计划，HCP）上的解码性能。
• 通过注意力机制实现DNN特征的分层解释，揭示与任务相关的脑区激活模式。
• 评估模型在BOLD5000数据集上对个体特质和图像分类任务的迁移学习能力。

提出的方法

• 使用4D卷积神经网络建模fMRI数据中的时空动态，捕捉时间与3D脑体积之间的交互关系。
• 将自注意力模块集成到网络架构中，以学习特征图的通道重要性权重。
• 注意力机制在推理过程中实现对相关脑区和功能网络的动态聚焦。
• 在HCP任务fMRI数据上端到端训练模型，实现多类脑状态解码。
• 应用迁移学习，对BOLD5000数据集中的个体特质回归和图像观看分类任务进行微调。
• 通过各层注意力图的可视化，揭示了从低级到高级层次逐步浮现的任务特异性脑区。

实验结果

研究问题

• RQ1 注意力机制是否能提升4D fMRI解码模型的性能，使其超越标准DNN？
• RQ2 注意力图如何随网络深度演变？其模式是否反映生物上合理的分层脑激活模式？
• RQ3 模型在迁移学习中对新任务的泛化能力如何？在目标领域中注意力模式如何变化？
• RQ4 注意力图能否提供对哪些脑区对解码决策贡献最大的可解释性洞察？

主要发现

• 所提模型在人类连接组计划数据集的七个不同任务基准上实现了97.4%的测试准确率，优于先前方法。
• 注意力可视化显示，任务特异性脑区以分层方式逐步浮现：浅层聚焦于感觉区域，深层则聚焦于高级联合网络。
• 在BOLD5000数据集上进行迁移学习后，模型保持了高性能；低层注意力图保留了源域模式，而高层注意力图则适应了新刺激。
• 注意力机制使DNN特征的解释更具意义，提升了模型的透明度，使其更适用于神经科学研究。