[论文解读] Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain

Jung‐Won Choi, Hyungi Lee+2 more|arXiv (Cornell University)|Mar 11, 2024

Functional Brain Connectivity Studies被引用 5

一句话总结

本论文介绍 ST-JEMA，一种受 JEPA 启发、用于从 fMRI 得到的动态图的掩码自编码器，能够自监督学习高层次时空表示，以在有限标签下预测表型和精神疾病诊断。

ABSTRACT

Graph Neural Networks (GNNs) have shown promise in learning dynamic functional connectivity for distinguishing phenotypes from human brain networks. However, obtaining extensive labeled clinical data for training is often resource-intensive, making practical application difficult. Leveraging unlabeled data thus becomes crucial for representation learning in a label-scarce setting. Although generative self-supervised learning techniques, especially masked autoencoders, have shown promising results in representation learning in various domains, their application to dynamic graphs for dynamic functional connectivity remains underexplored, facing challenges in capturing high-level semantic representations. Here, we introduce the Spatio-Temporal Joint Embedding Masked Autoencoder (ST-JEMA), drawing inspiration from the Joint Embedding Predictive Architecture (JEPA) in computer vision. ST-JEMA employs a JEPA-inspired strategy for reconstructing dynamic graphs, which enables the learning of higher-level semantic representations considering temporal perspectives, addressing the challenges in fMRI data representation learning. Utilizing the large-scale UK Biobank dataset for self-supervised learning, ST-JEMA shows exceptional representation learning performance on dynamic functional connectivity demonstrating superiority over previous methods in predicting phenotypes and psychiatric diagnoses across eight benchmark fMRI datasets even with limited samples and effectiveness of temporal reconstruction on missing data scenarios. These findings highlight the potential of our approach as a robust representation learning method for leveraging label-scarce fMRI data.

研究动机与目标

• 利用大规模无标签的 fMRI 数据学习鲁棒的动态功能连接表示。
• 开发一个受 JEPA 启发的掩码自编码器，以捕捉动态图中的更高层次的时空语义。
• 在有限标签条件下，在表型和精神疾病诊断任务上展示改进的下游性能。

提出的方法

• 引入 ST-JEMA，具备用于上下文和目标组件的双编码器，以避免平凡表示。
• 应用基于 JEPA 的损失，以重构潜在目标表示，而非跨时空的原始特征。
• 在节点特征和邻接矩阵上进行区块掩码，以学习每个时间步的上下文图信息。
• 使用全局上下文节点表示，在训练期间高效管理多个掩码。
• 将空间和时间重构损失结合起来，进行节点和邻接矩阵预测，以学习动态图语义。
• 在八个基准 rs-fMRI 数据集上进行微调，以验证表示在下游任务中的质量。

实验结果

研究问题

• RQ1 受 JEPA 启发的掩码自编码是否能提升来自无标签 fMRI 数据的动态功能连接的表征学习？
• RQ2 时空联合嵌入是否在有限标签数据下提升表型和精神疾病诊断的下游预测？
• RQ3 时间重构在处理动态 fMRI 的缺失数据情形中有何作用？
• RQ4 大规模无标签数据（UK Biobank）对用于 fMRI 的骨干 GNN 表征有何影响？
• RQ5 提出的方法是否在这八个基准上优于静态图或对比自监督学习基线？

主要发现

• ST-JEMA 在八个基准 fMRI 数据集的下游任务中优于现有的自监督方法。
• 利用时间动态性提升了 GNN 编码器中的节点表示，相较基线。
• 时间重构在数据稀缺的临床设置中提高了性能，尤其是在精神疾病诊断分类方面。
• 时间重构在缺失数据情形下仍然有效。
• 来自 UK Biobank 的大规模无标签数据支持更强的骨干表示用于下游任务。