[논문 리뷰] Benchmarking Graph Neural Networks for FMRI analysis

Ahmed M. El‐Gazzar, Rajat M. Thomas외 1명|arXiv (Cornell University)|2022. 11. 16.

Functional Brain Connectivity Studies인용 수 7

한 줄 요약

이 논문은 fMRI 데이터에서 우울증, 자폐 스펙트럼 장애 및 성별을 분류하기 위해 다섯 가지 GNN 아키텍처를 구조 무관 기반 딥러닝 및 커널 방법과 비교 평가한다. 이론적 우월성에도 불구하고, GNN은 모든 작업에서 1D CNN보다 성능이 열 劣하며, 특히 임계값을 적용한 기능적 연결성에 의해 초래되는 열악한 그래프 구축이 주요 장애물임을 드러낸다. 저자들은 그래프 확산을 통합하여 성능 향상을 도모한다.

ABSTRACT

Graph Neural Networks (GNNs) have emerged as a powerful tool to learn from graph-structured data. A paramount example of such data is the brain, which operates as a network, from the micro-scale of neurons, to the macro-scale of regions. This organization deemed GNNs a natural tool of choice to model brain activity, and have consequently attracted a lot of attention in the neuroimaging community. Yet, the advantage of adopting these models over conventional methods has not yet been assessed in a systematic way to gauge if GNNs are capable of leveraging the underlying structure of the data to improve learning. In this work, we study and evaluate the performance of five popular GNN architectures in diagnosing major depression disorder and autism spectrum disorder in two multi-site clinical datasets, and sex classification on the UKBioBank, from functional brain scans under a general uniform framework. Our results show that GNNs fail to outperform kernel-based and structure-agnostic deep learning models, in which 1D CNNs outperform the other methods in all scenarios. We highlight that creating optimal graph structures for functional brain data is a major bottleneck hindering the performance of GNNs, where existing works use arbitrary measures to define the edges resulting in noisy graphs. We therefore propose to integrate graph diffusion into existing architectures and show that it can alleviate this problem and improve their performance. Our results call for increased moderation and rigorous validation when evaluating graph methods and advocate for more data-centeric approaches in developing GNNs for functional neuroimaging applications.

연구 동기 및 목표

• fMRI 기반 분류 작업을 위한 유명한 GNN 아키텍처와 강력한 베이스라인 간의 공정하고 표준화된 비교를 수행하기 위해.
• 뇌의 알려진 네트워크 조직 구조를 고려할 때, GNN이 뇌 그래프 구조를 효과적으로 활용하여 학습을 향상시킬 수 있는지 조사하기 위해.
• 임상적 fMRI 데이터셋에서 샘플 크기가 GNN 및 베이스라인 모델 성능에 미치는 영향을 평가하기 위해.
• fMRI에서 GNN 성능을 저해하는 주요 장애물인 비최적의 그래프 구축(특히 임계값을 적용한 기능적 연결성)을 특정하고 해결하기 위해.
• fMRI를 위한 GNN 개발에서 데이터 중심 설계를 주장하며, 철저한 검증과 재현 가능성의 중요성을 강조하기 위해.

제안 방법

• GNN, 1D CNN, SVM을 포함한 모든 방법에 대해 동일하고 재현 가능한 프레임워크를 사용하여 모델 선택, 하이퍼파rameter 튜닝 및 평가를 수행하였다.
• fMRI 시간 시리즈에서 기능적 연결성(FC)을 기반으로 정적 및 동적 그래프 구축을 수행하였으며, 그래프 품질 향상을 위해 그래프 확산을 사전 처리 단계로 적용하였다.
• 그래프 구조의 기여를 노드 특징과 분리하기 위해 세 가지 구조 무관 기반 베이스라인(예: 1D CNN, SVM)을 구현하였다.
• 그래프 확산을 사전 처리 단계로 적용하여 기능적 연결성 그래프를 부드럽게 하고 정규화함으로써, 임의의 임계값에 의한 노이즈를 감소시켰다.
• UK Biobank 데이터를 사용하여 샘플 크기 스케일링에 대한 아블레이션 연구를 수행하여 다양한 데이터 규모에서의 일반화 능력을 평가하였다.
• 손실 함수, 가중치 초기화, 정규화를 동일하게 적용하여 아키텍처 차이 외의 요소가 유일한 변수임을 보장하였다.

실험 결과

연구 질문

• RQ1 GNN은 fMRI 데이터에서 정신건강 장애 및 표현형을 분류할 때, 구조 무관 기반 딥러닝 및 커널 기반 모델보다 일관되게 뛰어나게 성능을 내는가?
• RQ2 특히 임계값을 적용한 기능적 연결성에 의한 그래프 구축 품질이 fMRI 응용에서 GNN 성능에 어떤 영향을 미치는가?
• RQ3 그래프 확산 사전 처리를 통해 기능적 연결성 그래프에서 임의의 엣지 정의에 기인한 노이즈를 완화함으로써 GNN 성능을 향상시킬 수 있는가?
• RQ4 모델 성능은 증가하는 샘플 크기와 함께 어떻게 변화하는가? 더 큰 데이터 스케일에서 GNN이 우월성을 보이는가?
• RQ5 GNN 아키텍처의 차이(예: GCN, GAT, AST-GCN)가 단순한 비그래프 인식 모델 대비 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 모든 데이터셋에서 GNN은 주우울장애, 자폐 스펙트럼 장애 및 성별 분류의 세 가지 분류 작업에서 1D CNN을 앞서지 못했다.
• 그래프 구조 없이 영역을 채널로 간주하는 1D CNN은 모든 GNN 아키텍처보다 일관되게 뛰어난 성능을 보였으며, 이는 이 설정에서 구조 인식이 이점이 되지 않는다는 것을 시사한다.
• 동적 GNN인 AST-GCN은 가장 큰 샘플 크기에서 성능 향상을 보였으며, 적응형 그래프 학습과 결합된 GNN의 잠재적 잠재력이 있음을 시사한다.
• 표준 그래프 구축 방법으로서의 임계값을 적용한 기능적 연결성은 노이즈의 주요 원천이자 낮은 성능의 원인이 되었으며, 이는 GNN의 효과성을 떨어뜨렸다.
• 그래프 확산을 사전 처리 단계로 적용함으로써 GNN 성능이 크게 향상되었으며, 이는 기능적 연결성 그래프를 부드럽게 하고 임의의 임계값에 기인한 노이즈를 감소시켰기 때문이다.
• SVM은 임상 데이터셋에서 딥러닝 모델과 경쟁적으로 성능을 보였으며, 이는 일부 작업에서는 복잡한 아키텍처가 필수적이지 않음을 시사하며, 저데이터 환경에서 딥러닝의 추가 가치에 대한 의문을 제기한다.