[논문 리뷰] Multimodal Representations Learning and Adversarial Hypergraph Fusion for Early Alzheimer's Disease Prediction

Qiankun Zuo, Baiying Lei외 4명|arXiv (Cornell University)|2021. 07. 21.

Machine Learning in Healthcare참고 문헌 37인용 수 4

한 줄 요약

이 논문은 다중모달 뇌영상 데이터를 사용하여 조기 알츠하이머병(AD) 예측을 위한 다중모달 표현 학습 및 적대적 초그래프 융합(MRL-AHF) 프레임워크를 제안한다. 분포 지도 그래프 GAN과 CNN 기반 오토에코더를 활용한 표현 학습에 더해, 이질적인 모달리티 분포를 정렬하기 위해 적대적 초그래프 융합을 적용함으로써, AD 대 비정상 대조군(NC) 분류에서 95.07%의 정확도를 달성하여 기존 방법들을 능가한다. ADNI 데이터셋에서의 성능이 뛰어나다.

ABSTRACT

Multimodal neuroimage can provide complementary information about the dementia, but small size of complete multimodal data limits the ability in representation learning. Moreover, the data distribution inconsistency from different modalities may lead to ineffective fusion, which fails to sufficiently explore the intra-modal and inter-modal interactions and compromises the disease diagnosis performance. To solve these problems, we proposed a novel multimodal representation learning and adversarial hypergraph fusion (MRL-AHF) framework for Alzheimer's disease diagnosis using complete trimodal images. First, adversarial strategy and pre-trained model are incorporated into the MRL to extract latent representations from multimodal data. Then two hypergraphs are constructed from the latent representations and the adversarial network based on graph convolution is employed to narrow the distribution difference of hyperedge features. Finally, the hyperedge-invariant features are fused for disease prediction by hyperedge convolution. Experiments on the public Alzheimer's Disease Neuroimaging Initiative(ADNI) database demonstrate that our model achieves superior performance on Alzheimer's disease detection compared with other related models and provides a possible way to understand the underlying mechanisms of disorder's progression by analyzing the abnormal brain connections.

연구 동기 및 목표

• 알츠하이머병(AD) 진단에서 완전한 다중모달 뇌영상 데이터의 부족 문제를 해결하기 위해.
• 다양한 모달리티 간의 분포 불일치로 인해 효과적인 융합과 표현 학습이 저해되는 문제를 극복하기 위해.
• 조기 AD 및 MCI 탐지의 정확도 향상을 위해 내모달리티 및 간모달리티 간의 특징 상호작용을 강화하기 위해.
• 이상적인 뇌 연결성 패턴을 분석함으로써 질병 진행 과정에 대한 해석 가능성을 제공하기 위해.
• 사전 훈련된 모델과 적대적 훈련을 활용하여 뛰어난 진단 성능를 보이는 견고한 다중모달 융합 프레임워크를 개발하기 위해.

제안 방법

• fMRI 및 DTI 데이터로부터 잠재 표현을 학습하기 위해 분포 기반 그래프 GAN(D-GraphGAN)을 활용하여, 사전 분포 정보를 활용해 안정성을 향상시킨다.
• MRI 및 DTI 데이터의 표현을 추출하기 위해 CNN 기반 그래프 오토에코더(CNN-GraphAE)를 적용하며, 사전 훈련된 모델을 활용해 특징 학습을 강화한다.
• 학습된 표현에서 두 개의 초그래프를 구축하여, 이중 상호작용을 넘는 고차원 뇌 네트워크 연결을 모델링한다.
• 다양한 모달리티 간의 초엣지 특징 분포를 정렬하기 위해 적대적 초엣지 네트워크를 적용하여 도메인 이동을 감소시킨다.
• 분포가 정렬된 고도의 정제된 초그래프 특징에 대해 초엣지 컨볼루션을 수행하여 다중모달 정보를 융합하고 최종 분류를 수행한다.
• 모델을 두 단계로 훈련한다: 표현 학습을 위한 100 에포크, 이어 적대적 초그래프 융합을 위한 200 에포크.

실험 결과

연구 질문

• RQ1 적대적 훈련이 알츠하이머병 진단에서 이질적인 다중모달 표현 간의 분포 불일치를 효과적으로 줄일 수 있는가?
• RQ2 사전 훈련된 모델과 분포 사전 지식을 통합함으로써, 다중모달 뇌영상의 저자료 환경에서 표현 학습이 어떻게 향상되는가?
• RQ3 초그래프 기반 융합이 전통적인 그래프 또는 연결 기반 융합에 비해 고차원 뇌 연결성 패턴을 얼마나 잘 포착하는가?
• RQ4 제안된 모델은 기존 최첨단 방법보다 조기 단계의 MCI를 더 높은 정확도로 탐지할 수 있는가?
• RQ5 시각화된 연결성 변화를 통해 알츠하이머병 진행 과정에서 뇌 네트워크 재편성에 대한 통찰을 어느 정도 도출할 수 있는가?

주요 결과

• MRL-AHF 모델은 AD 대 비정상 대조군(NC) 분류에서 95.07%의 정확도를 달성하여, 동일한 작업에서 SVM(76.05%) 및 DCNN(84.51%)를 뛰어넘는 뛰어난 성능을 보였다.
• LMCI 대 NC 분류에서는 91.56%의 정확도를 기록하여, 다음으로 우수한 방법보다 2.08%포인트 높은 성능을 보였다.
• t-SNE 시각화 결과, SVM 및 DCNN 대비 더 선명하고 분리 가능한 특징 클러스터를 보여주어, 모델의 뛰어난 분류 능력을 확인할 수 있었다.
• 연결성 행렬 분석 결과, 조기 MCI 단계에서는 보상적 연결성이 증가하는 것으로 나타났으며, 후기 AD 단계에서는 감소하는 경향을 보여, 기존 신경생물학적 메커니즘을 뒷받침하였다.
• MRI, fMRI, DTI의 세 가지 완전한 모달리티를 사용한 모델가 두 모달리티만 사용한 모델보다 뛰어난 성능을 보여, 다중모달 융합의 가치를 확인하였다.
• 적대적 초그래프 융합 전략은 모달리티 간 분포 격차를 효과적으로 좁혀 융합 품질과 예측 성능을 향상시켰다.