[논문 리뷰] Disentangling Spatial-Temporal Functional Brain Networks via Twin-Transformers

Xiaowei Yu, Lu Zhang외 4명|arXiv (Cornell University)|2022. 04. 20.

Functional Brain Connectivity Studies인용 수 9

한 줄 요약

이 논문은 공간적 및 시간적 fMRI 패턴을 공동으로 모델링하여 공통적이고 개인별 기능적 뇌망을 분리하는 자기지도 학습 딥러닝 프레임워크인 Twin-Transformers를 제안한다. 공통적인 작업 관련 및 휴식 상태 뇌망을 식별하며, 자극과 관련이 없는 이전에 발견되지 않은 개인별 기능적 뇌망까지도, 공유된 가중치와 제약 조건을 갖춘 이중 트랜스포머를 통해 공간적 및 시간적 특징을 분리한다.

ABSTRACT

How to identify and characterize functional brain networks (BN) is fundamental to gain system-level insights into the mechanisms of brain organizational architecture. Current functional magnetic resonance (fMRI) analysis highly relies on prior knowledge of specific patterns in either spatial (e.g., resting-state network) or temporal (e.g., task stimulus) domain. In addition, most approaches aim to find group-wise common functional networks, individual-specific functional networks have been rarely studied. In this work, we propose a novel Twin-Transformers framework to simultaneously infer common and individual functional networks in both spatial and temporal space, in a self-supervised manner. The first transformer takes space-divided information as input and generates spatial features, while the second transformer takes time-related information as input and outputs temporal features. The spatial and temporal features are further separated into common and individual ones via interactions (weights sharing) and constraints between the two transformers. We applied our TwinTransformers to Human Connectome Project (HCP) motor task-fMRI dataset and identified multiple common brain networks, including both task-related and resting-state networks (e.g., default mode network). Interestingly, we also successfully recovered a set of individual-specific networks that are not related to task stimulus and only exist at the individual level.

연구 동기 및 목표

• 기존 fMRI 방법이 공간적 또는 시간적 패턴에 대한 사전 지식에 의존하는 한계를 극복하기 위해.
• 현재 fMRI 분석에서 개인별 기능적 네트워크 식별의 부족을 해결하기 위해.
• 공간적 및 시간적 뇌망 동역학을 공동으로 모델링할 수 있는 자기지도 프레임워크를 개발하기 위해.
• 레이블이 있는 작업 조건 또는 휴식 상태 조건이 필요 없이 fMRI 데이터로부터 공통(집단 수준) 및 개인별 기능적 네트워크를 분리하기 위해.

제안 방법

• 프레임워크는 두 개의 병렬 트랜스포머를 사용한다: 하나는 공간적으로 분할된 뇌 영역을 처리하고, 다른 하나는 각 영역의 시계열 신호를 처리한다.
• 공간적 및 시간적 특징은 각각의 모odalities에 맞게 조정된 별도의 주의 메커니즘을 통해 추출된다.
• 공유된 가중치와 제약 조건 메커니즘이 두 트랜스포머 간의 상호작용을 가능하게 하여 공통 및 개인 성분을 분리한다.
• 모델은 명시적인 레이블이 필요 없이 fMRI 데이터에서 자기지도 대비 학습을 통해 사전 훈련한다.
• 공통 및 개인 특징은 모odal별 및 주체별 표현을 강제하는 분리 모듈을 통해 분리된다.
• 프레임워크는 기능적 네트워크 구조를 학습하기 위해 인간 연결도 프로젝트의 운동 작업-fMRI 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 자기지도 딥러닝 모델은 fMRI 데이터로부터 공통적이고 개인별 기능적 뇌망을 효과적으로 식별할 수 있는가?
• RQ2 이중 주의 트랜스포머 아키텍처는 사전 가정 없이 기능적 뇌망의 공간적 및 시간적 동역학을 얼마나 잘 캡처할 수 있는가?
• RQ3 공간적 및 시간적 패턴을 fMRI 데이터에서 분리할 때 어떤 종류의 기능적 네트워크—공통적 또는 개인별—가 나타나는가?
• RQ4 작업 자극이나 알려진 휴식 상태 패턴과 일치하지 않는 개인별 네트워크는 감지 가능한가?
• RQ5 분리 메커니즘이 생물학적으로 의미 있는 기능적 네트워크 식별에 얼마나 기여하는가?

주요 결과

• 모델은 여러 개의 공통 기능적 네트워크를 성공적으로 식별하였으며, 기본 모드 네트워크와 같은 잘 알려진 휴식 상태 네트워크를 포함한다.
• 작업 자극과 관련이 없고 개인 수준에서만 존재하는 개인별 기능적 네트워크 세트를 발견하였다.
• 개인별 네트워크는 모든 피험자에서 일관되게 복원되어 강건성과 생물학적 타당성을 보여준다.
• 분리 메커니즘이 공간적 및 시간적 특징을 공통 및 개인 성분으로 효과적으로 분리하였다.
• 자기지도 사전 훈련 전략은 레이블이 있는 기능적 네트워크 애너테이션 없이도 의미 있는 표현을 학습할 수 있도록 하였다.