[论文解读] Disentangling Spatial-Temporal Functional Brain Networks via Twin-Transformers

Xiaowei Yu, Lu Zhang+4 more|arXiv (Cornell University)|Apr 20, 2022

Functional Brain Connectivity Studies被引用 9

一句话总结

本文提出Twin-Transformers，一种自监督深度学习框架，通过联合建模fMRI数据中的空间与时间模式，解耦常见功能脑网络与个体特异性脑网络。该方法同时识别任务相关与静息态网络，包括此前未发现的、与刺激无关的个体特异性网络，利用共享权重和约束的双Transformer架构分离空间与时间特征。

ABSTRACT

How to identify and characterize functional brain networks (BN) is fundamental to gain system-level insights into the mechanisms of brain organizational architecture. Current functional magnetic resonance (fMRI) analysis highly relies on prior knowledge of specific patterns in either spatial (e.g., resting-state network) or temporal (e.g., task stimulus) domain. In addition, most approaches aim to find group-wise common functional networks, individual-specific functional networks have been rarely studied. In this work, we propose a novel Twin-Transformers framework to simultaneously infer common and individual functional networks in both spatial and temporal space, in a self-supervised manner. The first transformer takes space-divided information as input and generates spatial features, while the second transformer takes time-related information as input and outputs temporal features. The spatial and temporal features are further separated into common and individual ones via interactions (weights sharing) and constraints between the two transformers. We applied our TwinTransformers to Human Connectome Project (HCP) motor task-fMRI dataset and identified multiple common brain networks, including both task-related and resting-state networks (e.g., default mode network). Interestingly, we also successfully recovered a set of individual-specific networks that are not related to task stimulus and only exist at the individual level.

研究动机与目标

• 克服现有fMRI方法依赖空间或时间模式先验知识的局限性。
• 解决当前fMRI分析中缺乏对个体特异性功能网络识别的问题。
• 开发一种能够联合建模空间与时间脑网络动态的自监督框架。
• 在无需标注任务或静息态条件的情况下，从fMRI数据中解耦常见（群体水平）与个体特异性功能网络。

提出的方法

• 该框架采用两个并行Transformer：一个处理空间划分的脑区，另一个处理每个脑区的时间序列信号。
• 通过针对各自模态定制的独立注意力机制提取空间与时间特征。
• 通过共享权重与约束机制，实现两个Transformer之间的交互，以解耦常见与个体成分。
• 模型使用自监督对比学习在fMRI数据上进行预训练，无需显式标签。
• 通过解耦模块将共同特征与个体特征分离，强制生成模态特异与受试者特异的表示。
• 该框架在人类连接组计划运动任务-fMRI数据集上端到端训练，以学习功能网络结构。

实验结果

研究问题

• RQ1 自监督深度学习模型能否有效从fMRI数据中识别出常见与个体特异性功能脑网络？
• RQ2 双注意力Transformer架构在无先验假设下，能否良好捕捉功能脑网络中的空间与时间动态？
• RQ3 在对fMRI数据中的空间与时间模式进行解耦时，会涌现出何种类型的功能网络——常见网络还是个体特异性网络？
• RQ4 当个体特异性网络未与任务刺激或已知静息态模式对齐时，是否仍可检测到？
• RQ5 解耦机制在多大程度上提升了对具有生物学意义的功能网络的识别能力？

主要发现

• 该模型成功识别出多个常见功能网络，包括广为人知的默认模式网络等静息态网络。
• 发现了若干与任务刺激无关、仅存在于个体层面的个体特异性功能网络。
• 这些个体特异性网络在所有受试者中均一致恢复，表明其具有稳健性与生物学合理性。
• 解耦机制有效将空间与时间特征分离为独立的共同与个体成分。
• 自监督预训练策略使模型在无需标注功能网络注释的情况下，学习到有意义的表示。