[논문 리뷰] Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain

Jung‐Won Choi, Hyungi Lee외 2명|arXiv (Cornell University)|2024. 03. 11.

Functional Brain Connectivity Studies인용 수 5

한 줄 요약

본 논문은 fMRI에서 유도된 다이나믹 그래프를 위한 JEPA에서 영감을 받은 마스크드 오토인코더 ST-JEMA를 소개하며, 제한된 라벨로 표표현형(phenotypes) 및 정신질환 진단을 예측하기 위한 고수준 시공간 표현의 자기지도 학습을 가능하게 한다.

ABSTRACT

Graph Neural Networks (GNNs) have shown promise in learning dynamic functional connectivity for distinguishing phenotypes from human brain networks. However, obtaining extensive labeled clinical data for training is often resource-intensive, making practical application difficult. Leveraging unlabeled data thus becomes crucial for representation learning in a label-scarce setting. Although generative self-supervised learning techniques, especially masked autoencoders, have shown promising results in representation learning in various domains, their application to dynamic graphs for dynamic functional connectivity remains underexplored, facing challenges in capturing high-level semantic representations. Here, we introduce the Spatio-Temporal Joint Embedding Masked Autoencoder (ST-JEMA), drawing inspiration from the Joint Embedding Predictive Architecture (JEPA) in computer vision. ST-JEMA employs a JEPA-inspired strategy for reconstructing dynamic graphs, which enables the learning of higher-level semantic representations considering temporal perspectives, addressing the challenges in fMRI data representation learning. Utilizing the large-scale UK Biobank dataset for self-supervised learning, ST-JEMA shows exceptional representation learning performance on dynamic functional connectivity demonstrating superiority over previous methods in predicting phenotypes and psychiatric diagnoses across eight benchmark fMRI datasets even with limited samples and effectiveness of temporal reconstruction on missing data scenarios. These findings highlight the potential of our approach as a robust representation learning method for leveraging label-scarce fMRI data.

연구 동기 및 목표

• 대규모 비표지 fMRI 데이터를 활용하여 강건한 동적 기능적 연결 표현을 학습한다.
• JEPA에서 영감을 받은 마스크드 오토인코더를 개발하여 다이나믹 그래프에서 더 높은 수준의 공간적 및 시간적 의미를 포착한다.
• 제한된 라벨로 표현형 및 정신질환 진단 작업에서 다운스트림 성능을 개선함을 입증한다.

제안 방법

• 맥락 부품과 대상 부품에 대한 이중 인코더를 도입하여 단순한 표현으로의 수렴을 피한다.
• 공간과 시간 전반에서 원시 특징이 아닌 잠재 대상 표현을 재구성하기 위해 JEPA 기반 손실을 적용한다.
• 각 시간 단계에서 맥락 그래프 정보를 학습하기 위해 노드 특징 및 인접 행렬에 대한 블록 마스킹을 사용한다.
• 학습 중 여러 마스크를 효율적으로 관리하기 위해 글로벌 컨텍스트 노드 표현을 사용한다.
• 공간 reconstruction 손실과 시간 재구성 손실을 노드 및 인접 행렬 예측과 결합하여 다이나믹 그래프 의미를 학습한다.
• 대표성 품질을 다운스트림 작업에 대해 검증하기 위해 8개의 벤치마크 rs-fMRI 데이터 세트에서 미세조정한다.

실험 결과

연구 질문

• RQ1 JEPA에서 영감을 받은 마스크드 오토인코딩이 비지도 fMRI 데이터에서 다이나믹 기능 연결의 표현 학습을 개선할 수 있는가?
• RQ2 시공간 결합 임베딩이 제한된 라벨 데이터로 표현형 및 정신질환 진단의 다운스트림 예측을 향상시키는가?
• RQ3 시간 재구성이 다이나믹 fMRI의 누락 데이터 시나리오 처리에 어떻게 기여하는가?
• RQ4 UK Biobank와 같은 대규모 비표지 데이터가 fMRI를 위한 백본 GNN 표현에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 8개의 벤치마크에서 정적 그래프 혹은 대비 학습 SSL 기대값을 능가하는가?

주요 결과

• ST-JEMA가 8개의 벤치마크 fMRI 데이터셋에서 다운스트림 작업에서 기존 SSL 방법들을 능가한다.
• 시간적 다이내믹스를 활용하면 기반 GNN 인코더의 노드 표현이 개선된다.
• 시간 재구성은 특히 정신질환 진단 분류에서 데이터가 부족한 임상 환경에서 성능을 돕는다.
• 다이나믹 재구성은 누락 데이터 시나리오에서도 효과적으로 작동한다.
• UK Biobank의 대규모 비표지 데이터는 다운스트림 작업을 위한 백본 표현을 강화한다.