[논문 리뷰] Multimodal Brain Disease Classification with Functional Interaction Learning from Single fMRI Volume

Wei Dai, Ziyao Zhang외 5명|arXiv (Cornell University)|2022. 08. 05.

Functional Brain Connectivity Studies인용 수 6

한 줄 요약

이 논문은 기존의 정의된 영역(ROIs)에 의존하지 않고 단일 fMRI 볼륨에서 직접 기능적 상호작용을 학습하는 하이브리드 3D CNN 및 Transformer 아키텍처인 BrainFormer을 제안한다. 이는 엔드 투 엔드 다중모odal 뇌질환 분류를 가능하게 하며, 자폐증, 알츠하이머병, 우울증, ADHD, 두통을 포함한 다섯 가지 뇌질환에서 최신 기술 수준의 성능을 달성한다. 국소적 볼륨 수준의 특징과 장거리 뇌 영역 간 상관관계를 모델링함으로써, 기울기 기반 시각화를 통해 해석 가능한 생물학적 표지자 국소화도 가능하다.

ABSTRACT

In neuroimaging analysis, fMRI can well assess the function changes for brain diseases with no obvious structural lesions. To date, most deep-learning-based fMRI studies have employed functional connectivity (FC) as the basic feature for disease classification. However, FC is calculated on time series of predefined regions of interest and neglects detailed information contained in each voxel. Another drawback of using FC is the limited sample size for the training of deep models. The low representation ability of FC leads to poor performance in clinical practice, especially when dealing with multimodal medical data involving multiple types of visual signals and textual records for brain diseases. To overcome this bottleneck problem in the fMRI feature modality, we propose BrainFormer, an end-to-end functional interaction learning method for brain disease classification with single fMRI volume. Unlike traditional deep learning methods that construct convolution and transformers on FC, BrainFormer learns the functional interaction from fMRI signals, by modeling the local cues within each voxel with 3D convolutions and capturing the global correlations among distant regions with specially designed global attention mechanisms from shallow layers to deep layers. Meanwhile, BrainFormer can deal with multimodal medical data including fMRI volume, structural MRI, FC features and phenotypic data to achieve more comprehensive brain disease diagnosis. We evaluate BrainFormer on five independent multi-site datasets on autism, Alzheimer's disease, depression, attention deficit hyperactivity disorder and headache disorders. The results demonstrate its effectiveness and generalizability for multiple brain diseases diagnosis with multimodal features. BrainFormer may promote precision of neuroimaging-based diagnosis in clinical practice and motivate future studies on fMRI analysis.

연구 동기 및 목표

• 기능적 연결성(FC) 기반 뇌질환 분류의 한계를 극복하기 위해, 수작업으로 정의된 ROIs에 의존하고 표현 능력이 낮으며 표본 수가 적은 문제를 해결하고자 한다.
• 원시 fMRI 신호에서 직접 기능적 상호작용을 학습하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하여 미세한 볼륨 수준의 정보를 유지하고자 한다.
• 통합된 아키텍처 내에서 fMRI, 구조적 MRI, FC 특징, 임상적 데이터를 융합하여 강력한 다중모달 분류 성능을 확보하고자 한다.
• ROIs 기반 평균화를 피하고 3D fMRI 볼륨에서 기울기 기반 국소화를 통해 설명 가능하고 공간적으로 국소화된 질병 생물학적 표지자를 제공하고자 한다.
• 다양한 스캔 프로토콜을 가진 다중기관 fMRI 데이터셋 간의 일반화 및 이식 가능성 향상을 위해 설계하고자 한다.

제안 방법

• BrainFormer는 단일 fMRI 볼륨 내 볼륨 수준의 국소적 공간-시간적 특징을 캡처하기 위해 얕은 레이어에서 3D 컨볼루션 레이어를 활용한다.
• 깊은 레이어에서는 장거리 기능적 상관관계를 모델링하기 위해 특수 설계된 두 개의 글로벌 어텐션 블록을 사용한다.
• 다중기관 fMRI 데이터셋 간 도메인 이동 문제를 다루고 일반화 성능을 향상시키기 위해 데이터 정규화 레이어를 적용한다.
• 다중모달 융합을 위해 fMRI는 BrainFormer로 처리하고, FC 특징과 임상적 데이터는 3층의 MLP로 처리한 후, 모든 모odalities를 연결하여 최종 분류를 수행한다.
• 기울기 기반 국소화(Gl)를 적용하여 예측에 기여도가 높은 볼륨을 강조함으로써 질병 관련 뇌 영역을 시각화한다.
• 모델은 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 표준 백프로파게이션으로 최적화된다.

실험 결과

연구 질문

• RQ1 정의된 ROIs나 기능적 연결성에 의존하지 않고도 딥 러닝 모델이 단일 fMRI 볼륨에서 직접 기능적 상호작용을 학습할 수 있는가?
• RQ2 원시 fMRI 신호에서 엔드 투 엔드로 학습하는 것이 전통적인 FC 기반 방법에 비해 분류 정확도를 향상시키는가?
• RQ3 BrainFormer는 다양한 뇌질환과 스캔 프로토콜이 다른 다중기관 데이터셋 간에 일반화 가능한가?
• RQ4 ROIs 평균화를 피하고 3D fMRI 볼륨에서 기울기 기반 국소화를 통해 설명 가능하고 공간적으로 국소화된 생물학적 표지자를 제공할 수 있는가?
• RQ5 fMRI, 구조적 MRI, FC, 임상적 데이터의 다중모달 융합이 진단 성능에 어떤 영향을 미치는가?

주요 결과

• BrainFormer는 ABIDE 자폐증 데이터셋에서 72.5%의 정확도를 달성하여 데이터 증강이나 사전학습 없이도 최신 기술 수준의 ASD-DiagNet을 능가한다.
• ADNI 알츠하이머병 데이터셋에서 BrainFormer는 3D CNN, SC-CNN, MMTGCN, MTGCN보다 뛰어난 성능을 보이며, 다양한 기관 간 이식성의 우수성을 입증한다.
• ADNI, ABIDE, ECHO에서의 3클래스 분류 과제에서 BrainFormer는 높은 성능를 유지하여 복잡한 진단 시나리오에 대한 강건성을 확인한다.
• ECHO 데이터셋의 훈련 곡선을 통해 모델의 수렴 속도가 빠르며, 효율적인 최적화를 보여준다.
• 기울기 기반 국소화는 임상 문헌과 일치하는 질병 관련 영역을 드러내며, 예를 들어 우울증에서는 전두엽 피질, 두통에서는 후두부 전두부cingulate 피질을 포함한다.
• 단일 fMRI 볼륨을 입력으로 사용함으로써 효과적인 표본 수를 100배 이상 증가시켜 신경영상 연구에서 데이터 수집 부담을 줄일 수 있다.