[논문 리뷰] Learning Dynamic Graph Representation of Brain Connectome with Spatio-Temporal Attention

Byung-Hoon Kim, Jong Chul Ye외 1명|arXiv (Cornell University)|2021. 05. 27.

Functional Brain Connectivity Studies참고 문헌 48인용 수 72

한 줄 요약

STAGIN은 시공간 주의를 사용하여 뇌 연결성(connectome)의 동적 그래프 표현을 학습하며, HCP-Rest 성별 분류와 HCP-Task 작업 해독에서 최첨단 성능을 달성합니다.

ABSTRACT

Functional connectivity (FC) between regions of the brain can be assessed by the degree of temporal correlation measured with functional neuroimaging modalities. Based on the fact that these connectivities build a network, graph-based approaches for analyzing the brain connectome have provided insights into the functions of the human brain. The development of graph neural networks (GNNs) capable of learning representation from graph structured data has led to increased interest in learning the graph representation of the brain connectome. Although recent attempts to apply GNN to the FC network have shown promising results, there is still a common limitation that they usually do not incorporate the dynamic characteristics of the FC network which fluctuates over time. In addition, a few studies that have attempted to use dynamic FC as an input for the GNN reported a reduction in performance compared to static FC methods, and did not provide temporal explainability. Here, we propose STAGIN, a method for learning dynamic graph representation of the brain connectome with spatio-temporal attention. Specifically, a temporal sequence of brain graphs is input to the STAGIN to obtain the dynamic graph representation, while novel READOUT functions and the Transformer encoder provide spatial and temporal explainability with attention, respectively. Experiments on the HCP-Rest and the HCP-Task datasets demonstrate exceptional performance of our proposed method. Analysis of the spatio-temporal attention also provide concurrent interpretation with the neuroscientific knowledge, which further validates our method. Code is available at https://github.com/egyptdj/stagin

연구 동기 및 목표

• 시간에 따른 뇌 기능적 연결성(FC)의 동적 표현 학습 동기화.
• 시간 동역학과 공간적 설명가능성을 통합하는 그래프 신경망 프레임워크 개발.
• 시간에 따른 주의(attention)으로 시간적 설명가능성 제공 및 신규 READOUT 모듈을 통한 공간적 설명가능성 도출.
• HCP-Rest 성별 분류 및 HCP-Task 작업 해독에서 최첨단 성능 시연.
• 신경과학 지식과의 관련성 분석을 통해 시공-공간 주의에 대한 해석 가능한 통찰 제공

제안 방법

• 슬라이딩 윈도우 fMRI에서 동적 FC 그래프를 구성하고 연결된 타임스탬프 특징을 노드 표현으로 연결합니다.
• 각 시점마다 기본 인코더로 Graph Isomorphism Network (GIN)을 사용합니다.
• 그래프 풀링 중 공간적 주의를 가능하게 하는 두 가지 주의 기반 READOUT(GARO와 SERO)를 도입합니다.
• 시간 포인트 간의 시간적 주의를 모델링하기 위해 Transformer 인코더를 적용하고 다층 출력을 연결합니다.
• 노드 특징에 직교 정규화(orthogonal regularization)를 도입하여 서로 다른 기저를 촉진하고 표현력을 향상시킵니다.
• 교차 엔트로피 손실과 소량의 직교성 Penalty를 포함한 엔드-투-엔드 학습을 한 사이클 학습률 정책으로 수행합니다

실험 결과

연구 질문

• RQ1 동적(시간에 따라 변하는) FC 그래프가 정적 FC 방법보다 뇌 표현형 분류를 개선할 수 있는가?
• RQ2 시공-공간 주의 메커니즘이 신경과학 지식과 일치하는 해석 가능한 통찰을 제공하는가?
• RQ3 시간 인코딩과 READOUT 주의가 휴식 상태의 성별 예측 및 작업 해독의 분류 정확도에 미치는 영향은 무엇인가?

주요 결과

• STAGIN-SERO는 HCP-Rest 성별 분류에서 88.20 ± 1.33% 정확도와 0.9296 ± 0.0187 AUROC를 달성합니다.
• STAGIN-SERO는 HCP-Task 작업 해독에서 99.19 ± 0.20%의 정확도를 달성합니다(나열된 모델 중 최고).
• STAGIN-GARO는 HCP-Rest에서 87.01 ± 3.00% 정확도와 0.9151 ± 0.0258 AUROC를 달성하며, HCP-Task에서 99.02 ± 0.17%의 작업 정확도를 기록합니다.
• HCP-Rest 데이터셋에서 STAGIN 방법은 보고된 지표에서 ST-GCN, MS-G3D, GIN, GCN, GraphSAGE, ChebGCN을 상회하며, 동적 접근법이 강력한 성능 우위를 보입니다.
• 시간적 주의 분석은 HCP-Task 데이터셋에서 주의된 시점이 작업 구조와 일치함을 보였고, 공간 주의는 여러 층에 걸쳐 알려진 네트워크(예: SMN, DMN)와 일치하는 영역을 강조합니다.