[논문 리뷰] Multiplex Graph Networks for Multimodal Brain Network Analysis

Zhaoming Kong, Lichao Sun외 4명|arXiv (Cornell University)|2021. 07. 31.

Functional Brain Connectivity Studies참고 문헌 41인용 수 5

한 줄 요약

이 논문은 다중 모odal 뇌 네트워크에서 그래프 구조에 대한 사전 지식이 필요 없이 공유 및 모odal 특화 그래프 구조를 학습하기 위해 텐서 표현을 통합한 멀티플렉스 그래프 컬러리션 네트워크(MGNet)를 제안한다. 다중선형 텐서 프로젝션을 활용해 그래프 구조를 유도하고, 다양한 모달리티 간 GCN를 통합함으로써 HIV, 양극성 장애, PPMI 데이터셋의 뇌 네트워크 데이터 분류에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we propose MGNet, a simple and effective multiplex graph convolutional network (GCN) model for multimodal brain network analysis. The proposed method integrates tensor representation into the multiplex GCN model to extract the latent structures of a set of multimodal brain networks, which allows an intuitive 'grasping' of the common space for multimodal data. Multimodal representations are then generated with multiplex GCNs to capture specific graph structures. We conduct classification task on two challenging real-world datasets (HIV and Bipolar disorder), and the proposed MGNet demonstrates state-of-the-art performance compared to competitive benchmark methods. Apart from objective evaluations, this study may bear special significance upon network theory to the understanding of human connectome in different modalities. The code is available at https://github.com/ZhaomingKong/MGNets.

연구 동기 및 목표

• 기존의 인접 행렬(접속 행렬)로 알려진 그래프 구조가 일반적으로 확보되어 있지 않은 다중 모달 뇌 네트워크 분석의 과제를 해결하기 위해.
• 다중 모달 뇌 네트워크에서 공유 및 모달 특화 그래프 구조를 통합적으로 모델링하는 통합 프레임워크를 개발하기 위해.
• 그래프 구축에 있어 영역의 관심 영역(ROIs)이나 기하학적 좌표와 같은 사전 지식에 의존하지 않기 위해.
• 작은 실세계 신경영상 데이터셋에서 표현 학습 및 질병 분류 성능을 향상시키기 위해.
• 본질적으로 텐서 구조를 지닌 다중 그래프, 다중 모달 데이터에 일반화 가능한 GCN 기반 모델을 제공하기 위해.

제안 방법

• 다양한 피험자와 모달리티의 다중 모달 뇌 네트워크를 4차원 텐서로 스택하여 구조적 동질성을 활용한다.
• 다중선형 텐서 프로젝션을 사용해 프로젝션 풍미 기반으로 4차원 텐서에서 직접 그래프 구조를 학습함으로써 사전 정의된 인접 행렬을 회피한다.
• 다양한 모달리티 간에 다수의 GCN 모델을 통합하면서도 모달 특화 특징을 유지하는 새로운 형태의 텐서 기반 GCN을 도입한다.
• 노드 수준의 자기 유사성(자기 유사성)을 캡처하고 표현 학습을 향상시키기 위해 학습 가능한 투영 행렬 $\mathbf{U}_1$ 을 활용한다.
• 모든 피험자 간 노드 수준의 유사성을 모델링하는 통일된 집계 함수를 통해 그래프 임베딩을 생성한다.
• 모달 특화 풀링 전략(예: 평균 풀링)을 평가하여 모달 우세성의 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 사전 그래프 구조 가정 없이 다중 모달 뇌 네트워크에서 공유 및 모달 특화 그래프 구조를 효과적으로 학습할 수 있는 멀티플렉스 GCN 모델이 가능한가?
• RQ2 사전 정의된 인접 행렬에 의존하는 방법과 비교해 텐서 기반 다중선형 프로젝션은 그래프 구조 학습을 어떻게 향상시키는가?
• RQ3 제안된 MGNet 모델은 다중 모달 뇌 네트워크를 사용한 신경질환 분류에서 기존 최신 기술 수준(SOTA) 방법들을 얼마나 뛰어나게 성능을 내는가?
• RQ4 학습된 그래프 임베딩은 HIV 및 양극성 장애에서 임상적으로 관련된 뇌 해부학적 패턴을 얼마나 잘 반영하는가?
• RQ5 모달 특화 풀링과 특징 투영($\mathbf{U}_1$)은 모델의 성능 및 일반화 능력에 어떤 기여를 하는가?

주요 결과

• MGNet은 HIV 데이터셋에서 평균 정확도 81.39% ± 13.41을 기록하여 기준 모델들을 초월했다.
• 양극성 장애 데이터셋에서 MGNet은 67.78% ± 12.28의 정확도를 달성하여 복잡한 정신신경질환에서 뛰어난 성능을 보였다.
• PPMI 데이터셋에서 MGNet은 66.62% ± 7.87의 정확도를 기록하여 다양한 임상 군집에 대한 강건성을 입증했다.
• $\mathbf{U}_1^T\mathbf{X}_{ms}$ 투영을 사용함으로써 피험자 간 일관된 패턴이 나타나, 노드 수준의 자기 유사성 모델링이 향상된 것으로 나타났다.
• t-SNE 시각화 결과 MGNet은 MVGCN 및 표준 GCN에 비해 더 잘 분리되고 레이블에 맞는 그래프 임베딩을 학습하는 것으로 확인되었다.
• 임상적 특징 시각화 결과 환자군은 노드 임베딩과 음성 상관관계를 보였고, 대조군은 양성 상관관계를 보였다. 이는 주의력 및 실행기능 장애와 알려진 기능 이상과 일치했다.