[论文解读] A Generative Self-Supervised Framework using Functional Connectivity in fMRI Data

Jung‐Won Choi, Seongho Keum+3 more|arXiv (Cornell University)|Dec 4, 2023

Functional Brain Connectivity Studies被引用 4

一句话总结

本文提出 ST-MAE，一种用于 fMRI 数据中动态功能连接（fc）网络的生成式自监督学习框架，通过跨时间的时空表征来重建被掩码的节点特征。该方法仅使用未标注的 fMRI 数据，就在下游任务（包括精神疾病分类）中实现了最先进性能，即使标注数据有限，也展现出强大的表征学习能力。

ABSTRACT

Deep neural networks trained on Functional Connectivity (FC) networks extracted from functional Magnetic Resonance Imaging (fMRI) data have gained popularity due to the increasing availability of data and advances in model architectures, including Graph Neural Network (GNN). Recent research on the application of GNN to FC suggests that exploiting the time-varying properties of the FC could significantly improve the accuracy and interpretability of the model prediction. However, the high cost of acquiring high-quality fMRI data and corresponding phenotypic labels poses a hurdle to their application in real-world settings, such that a model naïvely trained in a supervised fashion can suffer from insufficient performance or a lack of generalization on a small number of data. In addition, most Self-Supervised Learning (SSL) approaches for GNNs to date adopt a contrastive strategy, which tends to lose appropriate semantic information when the graph structure is perturbed or does not leverage both spatial and temporal information simultaneously. In light of these challenges, we propose a generative SSL approach that is tailored to effectively harness spatio-temporal information within dynamic FC. Our empirical results, experimented with large-scale (>50,000) fMRI datasets, demonstrate that our approach learns valuable representations and enables the construction of accurate and robust models when fine-tuned for downstream tasks.

研究动机与目标

• 解决精神病学和神经科学研究中 fMRI 标注数据有限的挑战。
• 克服现有对比自监督学习方法在动态图中因扰动而丢失语义信息的局限性。
• 开发一种生成式自监督框架，联合建模功能连接网络中的空间与时间动态。
• 实现在大规模未标注 fMRI 数据集上的有效预训练，以支持标注数据极少的下游任务。
• 提升临床 fMRI 应用中模型的准确性和鲁棒性，特别是在精神疾病分类方面。

提出的方法

• 该框架使用感兴趣区（ROIs）从 fMRI 时间序列构建动态功能连接图，形成随时间演化的图序列。
• 通过可学习的空间编码和使用门控循环单元（GRU）生成的时间编码向量，增强节点特征以建模时间动态。
• 采用掩码自编码策略：在中间时间点随机掩码节点特征，模型利用相邻时间步的表征进行重建。
• 模型使用图神经网络编码器从掩码输入中学习上下文感知的节点表征，随后通过解码器重建原始特征。
• 损失函数通过最小化预测特征与原始特征之间的重建误差，实现端到端反向传播训练。
• 通过将重建条件依赖于相邻时间点的表征，保留时间信息，使模型能够学习时间依赖性。

实验结果

研究问题

• RQ1 生成式自监督学习框架能否有效捕捉 fMRI 数据中动态功能连接网络的时空动态？
• RQ2 与对比自监督学习方法相比，所提出的 ST-MAE 框架在表征质量和下游任务性能方面表现如何？
• RQ3 在大规模未标注 fMRI 数据上进行预训练，能在多大程度上提升低数据场景（如精神疾病诊断）下的分类准确率？
• RQ4 时间编码向量的引入是否增强了模型重建被掩码特征及学习有意义时间模式的能力？
• RQ5 该框架能否在具有不同扫描协议和表型标签的多样化 fMRI 数据集中实现良好泛化？

主要发现

• ST-MAE 在多个下游 fMRI 任务中实现最先进性能，包括性别分类和精神疾病分类，即使标注数据有限。
• 与对比自监督基线相比，该模型在处理分布偏移和噪声扰动方面展现出更优的鲁棒性和泛化能力。
• 在 UK Biobank 数据集（n ≈ 40,000）上，ST-MAE 预训练显著提升了在 ABCD、HCP、ABIDE 和 ADHD200 等基准数据集上的微调准确率。
• 该框架在精神疾病分类任务中表现出显著提升，凸显其在标注数据稀缺的临床应用中的实用性。
• 消融研究证实，空间和时间编码均至关重要，移除时间编码会导致性能显著下降。
• 生成式重建目标在捕捉动态 fc 图中语义结构方面优于对比目标，尤其在图扰动条件下表现更优。