[論文レビュー] Cross-Modal Transformer GAN: A Brain Structure-Function Deep Fusing Framework for Alzheimer's Disease

Junren Pan, Shuqiang Wang|arXiv (Cornell University)|Jun 20, 2022

Functional Brain Connectivity Studies被引用数 6

ひとこと要約

本稿では、機能的（rs-fMRI）および構造的（DTI）神経画像データを、二重注意メカニズムを用いて統合するクロスモーダルトランスフォーマー GAN（CT-GAN）を提案する。このモデルは、補完的な脳結合特徴を抽出し、アルツハイマー病（AD）対正常対照（NC）の分類で最先端の正確度（94.44％）を達成するとともに、疾患の進行段階に応じて顕著な結合変化を示すAD関連脳結合体（例：海馬、楔前回）を同定した。

ABSTRACT

Cross-modal fusion of different types of neuroimaging data has shown great promise for predicting the progression of Alzheimer's Disease(AD). However, most existing methods applied in neuroimaging can not efficiently fuse the functional and structural information from multi-modal neuroimages. In this work, a novel cross-modal transformer generative adversarial network(CT-GAN) is proposed to fuse functional information contained in resting-state functional magnetic resonance imaging (rs-fMRI) and structural information contained in Diffusion Tensor Imaging (DTI). The developed bi-attention mechanism can match functional information to structural information efficiently and maximize the capability of extracting complementary information from rs-fMRI and DTI. By capturing the deep complementary information between structural features and functional features, the proposed CT-GAN can detect the AD-related brain connectivity, which could be used as a bio-marker of AD. Experimental results show that the proposed model can not only improve classification performance but also detect the AD-related brain connectivity effectively.

研究の動機と目的

• アルツハイマー病（AD）における構造的・機能的関係を十分に捉えられない単一モodal神経画像の限界を解消すること。
• 異種のrs-fMRIおよびDTIデータを効果的に統合する深層融合フレームワークを構築し、AD予測の精度を向上させること。
• マルチモーダル統合を用いて生物学的に意味のあるAD関連脳結合パターンを同定すること。
• 生成的対抗的ネットワークとトランスフォーマーを活用し、深層構造を必要としない特徴表現を向上させること。

提案手法

• クロスモーダルトランスフォーマー生成器は、CNNおよびGCNエンコーダーを用いて機能的（rs-fMRI）および構造的（DTI）特徴を統合する。
• 二重注意モジュール（F2SおよびS2F）により、機能的および構造的表現間のクロスモーダル特徴マッチングと相互強化が可能となる。
• 生成的対抗的訓練戦略により、深層ネットワークへの依存を減らしつつ、特徴学習とモデル一般化性能が向上する。
• デコーダーは統合された特徴から予測された構造的および機能的結合行列を再構成する。
• 識別器は実際の結合行列と生成された結合行列を区別し、対抗的フィードバックによって特徴品質を向上させる。
• モデルはAdam最適化アルゴリズムを用いてエンドツーエンドで訓練され、学習率0.001、重み減衰0.01、ベータ(0.9, 0.99)が設定されている。

実験結果

リサーチクエスチョン

• RQ1 二重注意を備えたクロスモーダルトランスフォーマーは、rs-fMRIおよびDTIデータを効果的に統合し、AD分類性能を向上させることができるか？
• RQ2 提案されたCT-GANモデルは、マルチモーダルデータからAD関連脳結合パターンをどのように同定するか？
• RQ3 生成的対抗的訓練を用いた機能的および構造的結合の統合は、単一モーダルまたは線形統合手法と比較して予測性能を向上させるか？
• RQ4 マルチモーダルモデルによると、AD進行に伴いどの脳領域に顕著な結合変化が見られるか？
• RQ5 モデルが学習した結合特徴は、臨床的関連バイオマーカーとして解釈可能か？

主な発見

• CT-GANは、アルツハイマー病（AD）と正常対照（NC）を区別する際、94.44％の正確度、93.33％の感度、95.24％の特異度を達成し、既存手法を上回った。
• LMCIとNCの分類では、93.55％の正確度、90.0％の感度、95.24％の特異度を達成し、早期段階の検出能力が顕著であった。
• EMCIとNCの分類では、92.68％の正確度、90.48％の感度、95.0％の特異度を達成し、軽度認知障害の検出に高い耐性を示した。
• 顕著な結合変化を示した上位8つのAD関連ROIは、海馬（左/右）、外側楔状回、上頭頂小葉、および楔前回であり、臨床文献と整合的であった。
• モデルは疾患進行段階にわたるマルチモーダル結合変化を効果的に可視化し、辺縁系およびparietal領域の結合低下と、他の領域における補償的活動上昇を明らかにした。
• 二重注意メカニズムは、機能的および構造的脳ネットワーク間の非線形的で補完的な関係を的確に捉え、より正確なバイオマーカー同定を可能にした。