[논문 리뷰] A Generative Self-Supervised Framework using Functional Connectivity in fMRI Data

Jung‐Won Choi, Seongho Keum외 3명|arXiv (Cornell University)|2023. 12. 04.

Functional Brain Connectivity Studies인용 수 4

한 줄 요약

이 논문은 fMRI 데이터에서 동적 기능적 연결망에 대한 생성형 자기학습 학습 프레임워크인 ST-MAE를 제안한다. 이 프레임워크는 시간에 걸쳐 공간적-시간적 표현을 활용하여 마스킹된 노드 특징을 재구성한다. 유해하지 않은 fMRI 데이터만을 사용하여 정신질환 분류를 포함한 다운스트림 작업에서 최신 기술 수준의 성능을 달성하며, 레이블이 제한된 경우에도 강력한 표현 학습 능력을 보여준다.

ABSTRACT

Deep neural networks trained on Functional Connectivity (FC) networks extracted from functional Magnetic Resonance Imaging (fMRI) data have gained popularity due to the increasing availability of data and advances in model architectures, including Graph Neural Network (GNN). Recent research on the application of GNN to FC suggests that exploiting the time-varying properties of the FC could significantly improve the accuracy and interpretability of the model prediction. However, the high cost of acquiring high-quality fMRI data and corresponding phenotypic labels poses a hurdle to their application in real-world settings, such that a model naïvely trained in a supervised fashion can suffer from insufficient performance or a lack of generalization on a small number of data. In addition, most Self-Supervised Learning (SSL) approaches for GNNs to date adopt a contrastive strategy, which tends to lose appropriate semantic information when the graph structure is perturbed or does not leverage both spatial and temporal information simultaneously. In light of these challenges, we propose a generative SSL approach that is tailored to effectively harness spatio-temporal information within dynamic FC. Our empirical results, experimented with large-scale (>50,000) fMRI datasets, demonstrate that our approach learns valuable representations and enables the construction of accurate and robust models when fine-tuned for downstream tasks.

연구 동기 및 목표

• 정신질환 및 신경학적 연구에서 레이블이 부족한 fMRI 데이터 문제를 해결하기 위해.
• 기존의 대조형 자기학습 학습 방법이 변형에 민감하여 의미 정보를 상실하는 문제를 해결하기 위해.
• 기능적 연결망의 공간적 및 시간적 동적 특성을 동시에 모델링하는 생성형 자기학습 프레임워크를 개발하기 위해.
• 최소한의 레이블 데이터로도 대규모 비라벨 fMRI 데이터셋을 효과적으로 사전 훈련시켜 다운스트림 작업에 활용하기 위해.
• 특히 정신질환 분류와 같은 임상 fMRI 적용 분야에서 모델의 정확성과 강인성을 향상시키기 위해.

제안 방법

• fMRI 시간 시리즈에서 관심 영역(ROIs)을 사용하여 동적 기능적 연결망 그래프를 구성하고, 시간에 따라 변화하는 그래프 시퀀스를 형성한다.
• 노드 특징은 학습 가능한 공간 인코딩과 Gated Recurrent Unit(GRU)를 통해 생성된 시간 인코딩 벡터로 향상되어 시간적 동적 특성을 모델링한다.
• 마스킹 오토인코더 전략을 적용하여 중간 시간 단계에서 노드 특징을 무작위로 마스킹하고, 주변 시간 단계의 표현을 활용해 이를 재구성한다.
• 모델은 마스킹된 입력에서 맥락화된 노드 표현을 학습하기 위해 그래프 신경망 인코더를 사용하고, 이후 복원된 특징을 재구성하기 위해 디코더를 적용한다.
• 손실 함수는 예측된 특징과 원본 노드 특징 간의 재구성 오차를 최소화하여 backpropagation을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 재구성 과정에서 인접한 시간 단계의 표현을 조건으로 삼아 시간 정보를 유지함으로써, 모델이 시간적 종속성을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 생성형 자기학습 학습 프레임워크는 fMRI 데이터로부터 동적 기능적 연결망의 공간-시간적 동적 특성을 효과적으로 포착할 수 있는가?
• RQ2 대조형 SSL 방법과 비교할 때 제안된 ST-MAE 프레임워크는 표현 품질과 다운스트림 작업 성능에서 어떤 차이를 보이는가?
• RQ3 대규모 비라벨 fMRI 데이터로 사전 훈련을 수행할 경우, 정신질환 진단과 같은 낮은 데이터 환경에서 분류 정확도 향상에 어느 정도 기여하는가?
• RQ4 시간 인코딩 벡터의 통합은 모델이 마스킹된 특징을 재구성하고 의미 있는 시간 패턴을 학습하는 데 기여하는가?
• RQ5 다양한 데이터 수집 프로토콜과 표현형 레이블을 가진 다양한 fMRI 데이터셋 간에도 프레임워크가 일반화 가능한가?

주요 결과

• ST-MAE는 레이블이 제한된 경우조차도 성별 분류 및 정신질환 분류를 포함한 여러 다운스트림 fMRI 작업에서 최신 기술 수준의 성능을 달성한다.
• 특히 분포 이탈과 노이즈가 있는 변형에 대한 처리에서 대조형 SSL 기반 모델 대비 뛰어난 강인성과 일반화 능력을 보여준다.
• UK 바이오뱅크 데이터셋(n ≈ 40,000)에서 ST-MAE 사전 훈련은 ABCD, HCP, ABIDE, ADHD200와 같은 벤치마크 데이터셋에서 피나이팅 정확도를 크게 향상시켰다.
• 정신질환 분류 과제에서 두드러진 성능 향상을 보이며, 레이블이 극히 부족한 임상 적용 분야에서의 유용성을 입증한다.
• 제거 실험 결과에서 공간적 및 시간적 인코딩이 모두 필수적임을 확인하였으며, 시간 인코딩을 제거할 경우 성능 저하가 심각하게 발생한다.
• 특히 그래프 변형에 취약한 상황에서 의미 있는 의미적 구조를 포착하는 데 생성형 재구성 목표가 대조형 목표보다 뛰어난 성능을 보였다.