[論文レビュー] Multimodal Deep Learning for Dynamic and Static Neuroimaging: Integrating MRI and fMRI for Alzheimer Disease Analysis

Anima Kujur, Zahra Monfared|arXiv (Cornell University)|Mar 9, 2026

Functional Brain Connectivity Studies被引用数 0

ひとこと要約

この論文は、MRI（3D CNN）と fMRI（Time-Distributed CNN + LSTM/GRU）を組み合わせたマルチモーダル深層学習フレームワークを用い、AD・MCI・Normal Cognitive Stateを分類する。データ拡張は小規模な対応データセットで性能を向上させる。

ABSTRACT

Magnetic Resonance Imaging (MRI) provides detailed structural information, while functional MRI (fMRI) captures temporal brain activity. In this work, we present a multimodal deep learning framework that integrates MRI and fMRI for multi-class classification of Alzheimer Disease (AD), Mild Cognitive Impairment, and Normal Cognitive State. Structural features are extracted from MRI using 3D convolutional neural networks, while temporal features are learned from fMRI sequences using recurrent architectures. These representations are fused to enable joint spatial-temporal learning. Experiments were conducted on a small paired MRI-fMRI dataset (29 subjects), both with and without data augmentation. Results show that data augmentation substantially improves classification stability and generalization, particularly for the multimodal 3DCNN-LSTM model. In contrast, augmentation was found to be ineffective for a large-scale single-modality MRI dataset. These findings highlight the importance of dataset size and modality when designing augmentation strategies for neuroimaging-based AD classification.

研究の動機と目的

• 構造的MRIと機能的fMRIニューロイメージングを活用してAD・MCI・Normal Cognitive Stateの分類を改善する。
• マルチモーダルデータの統合的な空間-時間フュージョンフレームワークを開発する。
• ニューロイメージングベースのAD解析におけるモデル汎化性能へのデータセットサイズとデータ拡張の影響を評価する。

提案手法

• MRIから3D CNNエンコーダで空間特徴を抽出する。
• fMRIからTime-Distributed 3D CNNとLSTM/GRUで時間的特徴を抽出する。
• MRIとfMRIの表現を分類のための共有潜在空間に融合する。
• マルチモーダルアーキテクチャ（3DCNN-LSTM、3DCNN-GRU）をAdam最適化器（lr=1e-5）で20エポック訓練する。
• 単一モダリティのベースラインと比較し、拡張の影響を分析する。
• 精度、AUC、混同行列、その他の指標で評価する。

実験結果

リサーチクエスチョン

• RQ1 MRIとfMRIの空間-時間フュージョンは単一モダリティと比較してAD/MCI/NCSの分類を改善するか？
• RQ2 ドメイン特有のデータ拡張は小規模な対応MRI–fMRIデータセットで一般化を改善するか？
• RQ3 再帰アーキテクチャのどれ（LSTM vs GRU）がマルチモーダル枠組み内のfMRIの時間モデル化に優れているか？

主な発見

• 拡張は小規模HDデータセット上のマルチモーダルモデルの性能を大幅に改善した（3DCNN-LSTMは拡張でより高いAUCを達成）。
• 拡張なしでは、マルチモーダルモデルは一般化が限定的で、特にMCIでクラス混同が顕著だった。
• 再帰型の中で、拡張データ上は3DCNN-LSTMが一般にAD/MCI/NCSのAUCを高めたが、GRUは計算量が低く競争力のある結果を示した。
• より大きいMRIのみのKaggleデータセットでは、拡張は時に性能を劣化させることがあり、データセットサイズとモダリティが拡張の有効性に影響を与える。
• 最良のマルチモーダルモデル（3DCNN–LSTM）は拡張データ HD で AD 0.76、MCI 0.86、NCS 0.92 のAUCを達成。
• 拡張戦略を設計する際にはモダリティフュージョンとデータセット特性の重要性を強調する。