[论文解读] Attend and Decode: 4D fMRI Task State Decoding Using Attention Models

Sam Nguyen, Brenda Ng+2 more|arXiv (Cornell University)|Apr 10, 2020

Functional Brain Connectivity Studies参考文献 20被引用 6

一句话总结

该论文提出 Brain Attend and Decode（BAnD），一种新颖的基于4D注意力机制的深度学习模型，用于功能磁共振成像（fMRI）任务状态解码。该模型结合3D残差卷积网络进行空间特征提取与多头自注意力机制进行时间建模。BAnD在HCP-YA 7任务基准上实现了93.6%的准确率，并展现出强大的迁移学习性能，在未见的运动任务上微调后准确率达到94.1%，优于从零开始训练的模型，且训练时间更短。

ABSTRACT

Functional magnetic resonance imaging (fMRI) is a neuroimaging modality that captures the blood oxygen level in a subject's brain while the subject either rests or performs a variety of functional tasks under different conditions. Given fMRI data, the problem of inferring the task, known as task state decoding, is challenging due to the high dimensionality (hundreds of million sampling points per datum) and complex spatio-temporal blood flow patterns inherent in the data. In this work, we propose to tackle the fMRI task state decoding problem by casting it as a 4D spatio-temporal classification problem. We present a novel architecture called Brain Attend and Decode (BAnD), that uses residual convolutional neural networks for spatial feature extraction and self-attention mechanisms for temporal modeling. We achieve significant performance gain compared to previous works on a 7-task benchmark from the large-scale Human Connectome Project-Young Adult (HCP-YA) dataset. We also investigate the transferability of BAnD's extracted features on unseen HCP tasks, either by freezing the spatial feature extraction layers and retraining the temporal model, or finetuning the entire model. The pre-trained features from BAnD are useful on similar tasks while finetuning them yields competitive results on unseen tasks/conditions.

研究动机与目标

• 解决在任务状态解码中高维、复杂时空fMRI数据的挑战。
• 开发一种深度学习模型，有效捕捉4D fMRI序列中的空间与时间动态特性，且无需依赖脑部分区（parcellation）方法。
• 评估所学特征在不同fMRI任务和条件下的可迁移性。
• 通过注意力图与激活图实现可解释性，识别对分类至关重要的脑区与时间点。
• 实现基于原始体素数据的可扩展、端到端fMRI解码。

提出的方法

• 模型采用3D ResNet-18主干网络，从每个3D fMRI帧中提取空间特征。
• 在嵌入后的3D帧序列上应用多头自注意力机制，以建模时间依赖性。
• 通过在HCP-YA数据集上使用交叉熵损失进行端到端训练，实现7类任务分类。
• 为实现可解释性，应用Grad-CAM生成空间激活图，突出显示每类任务中的关键体素。
• 通过蒸馏后的BAnD++模型（仅含单个注意力头）可视化时间注意力权重，识别关键时间帧。
• 通过冻结空间特征并微调时间头，或在未见任务上微调整个模型，评估迁移学习性能。

实验结果

研究问题

• RQ1 自注意力机制能否有效建模4D fMRI数据的时间动态特性以实现任务状态解码？
• RQ2 BAnD学习到的空间特征在未见fMRI任务上的泛化能力如何？
• RQ3 模型在分类过程中关注的时间与空间模式是什么？这些模式是否具有神经生物学上的合理性？
• RQ4 微调整个模型是否比从零开始训练新任务的模型性能更优？
• RQ5 该模型是否能在不依赖脑部分区或手工特征工程的前提下实现高准确率？

主要发现

• BAnD在HCP-YA 7任务基准上实现了93.6%的分类准确率，显著优于先前方法。
• 在迁移至未见的运动任务时，冻结空间特征并微调时间头的准确率为51.1%，而微调整个模型后提升至94.1%。
• 微调后的BAnD在运动任务上达到94.1%的准确率，与从零开始训练的模型（93.4%）相当，但训练时间显著缩短。
• 在每个fMRI序列中，第7帧在所有任务中均被赋予最高的注意力权重，可能与BOLD反应的延迟有关。
• 通过Grad-CAM生成的空间激活图突出了任务特异性的脑区，例如手部运动任务对应运动皮层，赌博任务对应纹状体。
• 模型所学特征展现出强大的可迁移性，尤其在微调后，表明其对fMRI动态具有稳健且通用的表征能力。