[논문 리뷰] Multimodal Deep Learning for Dynamic and Static Neuroimaging: Integrating MRI and fMRI for Alzheimer Disease Analysis

Anima Kujur, Zahra Monfared|arXiv (Cornell University)|2026. 03. 09.

Functional Brain Connectivity Studies인용 수 0

한 줄 요약

본 논문은 MRI(3D CNN)와 fMRI(Time-Distributed CNN + LSTM/GRU)를 결합한 다중 모드 심층 학습 프레임워크를 제시하여 AD, MCI, Normal Cognitive State를 분류하고, 데이터 증강이 소형 페어 데이터셋에서 성능을 향상시킨다.

ABSTRACT

Magnetic Resonance Imaging (MRI) provides detailed structural information, while functional MRI (fMRI) captures temporal brain activity. In this work, we present a multimodal deep learning framework that integrates MRI and fMRI for multi-class classification of Alzheimer Disease (AD), Mild Cognitive Impairment, and Normal Cognitive State. Structural features are extracted from MRI using 3D convolutional neural networks, while temporal features are learned from fMRI sequences using recurrent architectures. These representations are fused to enable joint spatial-temporal learning. Experiments were conducted on a small paired MRI-fMRI dataset (29 subjects), both with and without data augmentation. Results show that data augmentation substantially improves classification stability and generalization, particularly for the multimodal 3DCNN-LSTM model. In contrast, augmentation was found to be ineffective for a large-scale single-modality MRI dataset. These findings highlight the importance of dataset size and modality when designing augmentation strategies for neuroimaging-based AD classification.

연구 동기 및 목표

• 구조적(MRI) 및 기능적(fMRI) 신경영상학을 활용해 AD, MCI 및 Normal Cognitive State 분류를 개선한다.
• 다중모달 데이터를 위한 통합 공간-시간 융합 프레임워크를 개발한다.
• 신경영상 기반 AD 분석에서 데이터셋 크기와 데이터 증강이 모델 일반화에 미치는 영향을 평가한다.

제안 방법

• MRI에서 3D CNN 인코더를 사용해 공간 특징을 추출한다.
• fMRI에서 Time-Distributed 3D CNN + LSTM/GRU로 시간적 특징을 추출한다.
• MRI와 fMRI 표현을 분류를 위한 공유 잠재공간으로 융합한다.
• Adam 옵티마이저(lr=1e-5)로 20 에포크 동안 3DCNN-LSTM, 3DCNN-GRU 등의 다중모달 아키텍처를 학습한다.
• 단일 모달 baselines와 증강의 영향을 비교한다.
• 정확도, AUC, 혼동 행렬 및 기타 지표로 평가한다.

실험 결과

연구 질문

• RQ1 MRI와 fMRI의 공간-시간 융합이 단일 모달에 비해 AD/MCI/NCS 분류를 향상시키는가?
• RQ2 도메인 특화 데이터 증강이 소형 페어 MRI–fMRI 데이터셋에서 일반화에 도움을 주는가?
• RQ3 다중모달 프레임워크 내에서 어떤 순환 구조(LSTM vs GRU)가 fMRI의 시간 모델링에 더 우수한가?

주요 결과

• 증강은 소형 HD 데이터셋에서 다중모달 모델의 성능을 크게 향상시켰고(증강과 함께 3DCNN-LSTM이 더 높은 AUC를 달성).
• 증강 없이 다중모달 모델은 일반화가 제한적이며 특히 MCI에 대한 클래스 혼동이 두드러졌다.
• 순환 변형들 중 3DCNN-LSTM은 증강 데이터에서 일반적으로 AD/MCI/NCS에 대해 3DCNN-GRU보다 더 높은 AUC를 보였지만 GRU는 계산량이 적은 경우 경쟁력 있는 성능을 제공했다.
• 더 큰 MRI 전용 Kaggle 데이터셋에서는 증강이 때때로 성능을 악화시켰으며, 증강 효능은 데이터셋 규모와 모듀얼리티의 영향이 있음을 시사한다.
• 가장 성능이 좋은 다중모달 모델(3DCNN–LSTM)은 증강 데이터 HD에서 AD: 0.76, MCI: 0.86, NCS: 0.92의 AUC를 달성했다.
• 증강 전략을 설계할 때 신경영상 기반 AD 분류에서 모달리티 융합과 데이터셋 특성의 중요성을 강조한다.