[论文解读] Learning Dynamic Graph Representation of Brain Connectome with Spatio-Temporal Attention

Byung-Hoon Kim, Jong Chul Ye+1 more|arXiv (Cornell University)|May 27, 2021

Functional Brain Connectivity Studies参考文献 48被引用 72

一句话总结

STAGIN 使用时空注意力学习脑连接组的动态图表示，在 HCP-Rest 性别分类和 HCP-Task 任务解码上达到最先进的结果。

ABSTRACT

Functional connectivity (FC) between regions of the brain can be assessed by the degree of temporal correlation measured with functional neuroimaging modalities. Based on the fact that these connectivities build a network, graph-based approaches for analyzing the brain connectome have provided insights into the functions of the human brain. The development of graph neural networks (GNNs) capable of learning representation from graph structured data has led to increased interest in learning the graph representation of the brain connectome. Although recent attempts to apply GNN to the FC network have shown promising results, there is still a common limitation that they usually do not incorporate the dynamic characteristics of the FC network which fluctuates over time. In addition, a few studies that have attempted to use dynamic FC as an input for the GNN reported a reduction in performance compared to static FC methods, and did not provide temporal explainability. Here, we propose STAGIN, a method for learning dynamic graph representation of the brain connectome with spatio-temporal attention. Specifically, a temporal sequence of brain graphs is input to the STAGIN to obtain the dynamic graph representation, while novel READOUT functions and the Transformer encoder provide spatial and temporal explainability with attention, respectively. Experiments on the HCP-Rest and the HCP-Task datasets demonstrate exceptional performance of our proposed method. Analysis of the spatio-temporal attention also provide concurrent interpretation with the neuroscientific knowledge, which further validates our method. Code is available at https://github.com/egyptdj/stagin

研究动机与目标

• 激发学习随时间变化的脑功能连接（FC）的动态表示。
• 开发一个结合时间动态和空间可解释性的图神经网络框架。
• 通过对时间的注意力提供时间可解释性，并通过新颖的 READOUT 模块实现空间可解释性。
• 展示在 HCP-Rest 性别分类和 HCP-Task 任务解码中的最新性能。
• 通过分析时空注意力及其与神经科学知识的关系提供可解释的洞见。

提出的方法

• 通过滑动窗口 fMRI 构建动态 FC 图，将拼接的时间戳特征转化为节点表示。
• 将 Graph Isomorphism Network (GIN) 作为每个时间点的基础编码器。
• 引入两种基于注意力的 READOUT（GARO 和 SERO），在图池化过程中实现空间注意力。
• 应用 Transformer 编码器来建模跨时间点的时间注意力，并拼接多层输出。
• 对节点特征加入正交正则化，以促进多样基底并提高表达能力。
• 使用一个周期学习率策略，端到端以交叉熵损失加小的正交惩罚进行训练。

实验结果

研究问题

• RQ1 动态（随时间变化的）FC 图相比静态 FC 方法，能否提升脑表型分类效果？
• RQ2 时空注意力机制是否提供与神经科学知识一致的可解释洞见？
• RQ3 时序编码和 READOUT 注意力对静息态性别预测和任务解码的分类准确性有何影响？

主要发现

• STAGIN-SERO 在 HCP-Rest 性别分类上达到 88.20 ± 1.33% 的准确率和 0.9296 ± 0.0187 的 AUROC。
• STAGIN-SERO 在 HCP-Task 任务解码上达到 99.19 ± 0.20% 的准确率（在列出的模型中为最佳）。
• STAGIN-GARO 在 HCP-Rest 达到 87.01 ± 3.00% 的准确率和 0.9151 ± 0.0258 AUROC；在 HCP-Task 上任务准确率为 99.02 ± 0.17%。
• 在 HCP-Rest 数据集中，STAGIN 方法在所报告的指标上优于 ST-GCN、MS-G3D、GIN、GCN、GraphSAGE 和 ChebGCN；动态方法展现出显著的性能优势。
• 时序注意力分析表明，被关注的时间点与 HCP-Task 数据集的任务结构一致，空间注意力在跨层中突出显示与已知网络（如 SMN、DMN）一致的区域。