[論文レビュー] Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain

Jung‐Won Choi, Hyungi Lee+2 more|arXiv (Cornell University)|Mar 11, 2024

Functional Brain Connectivity Studies被引用数 5

ひとこと要約

この論文は ST-JEMA を提案する。fMRI に由来する動的グラフ向けの JEPA に触発されたマスクドオートエンコーダで、自己监督学習により高レベルの時空表現を獲得し、限られたラベルで表現型と精神科診断を予測できる。

ABSTRACT

Graph Neural Networks (GNNs) have shown promise in learning dynamic functional connectivity for distinguishing phenotypes from human brain networks. However, obtaining extensive labeled clinical data for training is often resource-intensive, making practical application difficult. Leveraging unlabeled data thus becomes crucial for representation learning in a label-scarce setting. Although generative self-supervised learning techniques, especially masked autoencoders, have shown promising results in representation learning in various domains, their application to dynamic graphs for dynamic functional connectivity remains underexplored, facing challenges in capturing high-level semantic representations. Here, we introduce the Spatio-Temporal Joint Embedding Masked Autoencoder (ST-JEMA), drawing inspiration from the Joint Embedding Predictive Architecture (JEPA) in computer vision. ST-JEMA employs a JEPA-inspired strategy for reconstructing dynamic graphs, which enables the learning of higher-level semantic representations considering temporal perspectives, addressing the challenges in fMRI data representation learning. Utilizing the large-scale UK Biobank dataset for self-supervised learning, ST-JEMA shows exceptional representation learning performance on dynamic functional connectivity demonstrating superiority over previous methods in predicting phenotypes and psychiatric diagnoses across eight benchmark fMRI datasets even with limited samples and effectiveness of temporal reconstruction on missing data scenarios. These findings highlight the potential of our approach as a robust representation learning method for leveraging label-scarce fMRI data.

研究の動機と目的

• 大規模なラベルなし fMRI データを活用して、頑健な動的機能接続表現を学習する。
• 動的グラフにおける高レベルの空間的・時間的意味論を捉える JEPA に触発されたマスクドオートエンコーダを開発する。
• 限られたラベルで表現型および精神科診断タスクにおける下流パフォーマンスの向上を示す。

提案手法

• 文脈成分とターゲット成分の二重エンコーダを用いた ST-JEMA を導入し、単純化された表現を回避する。
• 空間と時間を横断して生の特徴量ではなく潜在ターゲット表現を再構築する JEPA ベースの損失を適用する。
• 各時刻ステップで文脈的グラフ情報から学ぶためにノード特徴と隣接行列にブロックマスキングを用いる。
• トレーニング中に複数のマスクを効率的に扱うためにグローバルコンテキストノード表現を採用する。
• ノードと隣接行列の予測とともに、空間的および時間的再構成損失を組み合わせて動的グラフの意味論を学習する。
• 下流タスクの表現品質を検証するために eight benchmark rs-fMRI データセットでファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 JEPA に触発されたマスクドオートエンコーディングは、ラベルなし fMRI データから動的機能的結合の表現学習を改善できるか？
• RQ2 時空結合埋め込みは、限られたラベルデータで表現型および精神科診断の下流予測を改善するか？
• RQ3 動的 fMRI における欠損データ状況を扱う際、時間的再構成はどのように寄与するか？
• RQ4 大規模なラベルなしデータ（UK Biobank）が fMRI の backbone GNN 表現に与える影響は？
• RQ5 提案手法は eight benchmarks で静的グラフまたはコントラスト学習ベースラインを上回るか？

主な発見

• ST-JEMA は eight benchmark fMRI データセットの下流タスクで従来の SSL 手法を上回る。
• 時間的ダイナミクスを活用することで、ベースラインと比較して GNN エンコーダのノード表現が改善される。
• 時系列再構成はデータ不足の臨床設定、特に精神科診断分類の性能向上に寄与する。
• 欠損データの状況下でも時系列再構成は有効であり続ける。
• UK Biobank 由来の大規模なラベルなしデータは下流タスクの backbone 表現をより強力にする。