[論文レビュー] Multimodal Representations Learning and Adversarial Hypergraph Fusion for Early Alzheimer's Disease Prediction

Qiankun Zuo, Baiying Lei+4 more|arXiv (Cornell University)|Jul 21, 2021

Machine Learning in Healthcare参考文献 37被引用数 4

ひとこと要約

本論文は、マルチモodal神経画像データを用いたアルツハイマー病（AD）の予測のため、マルチモーダル表現学習と敵対的ハイパーグラフ統合（MRL-AHF）フレームワークを提案する。分布誘導型グラフGANとCNNベースのオートエンコーダーを用いた表現学習を統合し、異種モダリティの分布を統一するための敵対的ハイパーグラフ統合を採用することで、ADNIデータセット上でAD対NC分類において95.07%の精度を達成し、既存手法を上回った。

ABSTRACT

Multimodal neuroimage can provide complementary information about the dementia, but small size of complete multimodal data limits the ability in representation learning. Moreover, the data distribution inconsistency from different modalities may lead to ineffective fusion, which fails to sufficiently explore the intra-modal and inter-modal interactions and compromises the disease diagnosis performance. To solve these problems, we proposed a novel multimodal representation learning and adversarial hypergraph fusion (MRL-AHF) framework for Alzheimer's disease diagnosis using complete trimodal images. First, adversarial strategy and pre-trained model are incorporated into the MRL to extract latent representations from multimodal data. Then two hypergraphs are constructed from the latent representations and the adversarial network based on graph convolution is employed to narrow the distribution difference of hyperedge features. Finally, the hyperedge-invariant features are fused for disease prediction by hyperedge convolution. Experiments on the public Alzheimer's Disease Neuroimaging Initiative(ADNI) database demonstrate that our model achieves superior performance on Alzheimer's disease detection compared with other related models and provides a possible way to understand the underlying mechanisms of disorder's progression by analyzing the abnormal brain connections.

研究の動機と目的

• アルツハイマー病（AD）診断における完全なマルチモーダル神経画像データの限界に取り組む。
• 有効な統合と表現学習を妨げるモダリティ間の分布不一致を克服する。
• 早期ADおよびMCI検出のためのモダリティ内およびモダリティ間の特徴相互作用を向上させる。
• 異常な脳結合パターンの分析を通じて、疾患進行の解釈可能性を提供する。
• 事前学習モデルと敵対的訓練を活用した優れた診断性能を実現する、強固なマルチモーダル統合フレームワークを構築する。

提案手法

• fMRIおよびDTIデータからの潜在的表現を学習するために、分布に基づくグラフGAN（D-GraphGAN）を用い、事前分布情報を活用して耐性を向上させる。
• MRIおよびDTIデータからの表現を抽出するために、CNNベースのグラフオートエンコーダー（CNN-GraphAE）を採用し、事前学習モデルを用いて特徴学習を強化する。
• 学習済み表現から2つのハイパーグラフを構築し、二項的相互作用を超えた高次元の脳ネットワーク結合をモデル化する。
• 敵対的ハイパーエッジネットワークを適用して、モダリティ間のハイパーエッジ特徴の分布を統一し、ドメインシフトを低減する。
• 分布が整えられたハイパーグラフ特徴に対してハイパーエッジ畳み込みを実行し、マルチモーダル情報の統合を最終分類に向け実行する。
• 2段階の訓練を実施：最初に100エポックで表現学習を実行し、その後200エポックで敵対的ハイパーグラフ統合を実行する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、アルツハイマー病診断における異種マルチモーダル表現間の分布差を効果的に低減できるか？
• RQ2 事前学習モデルと分布事前知識を組み合わせることで、マルチモーダル神経画像の低データ環境下での表現学習はどのように向上するか？
• RQ3 ハイパーグラフベースの統合は、従来のグラフまたは連結ベースの統合に比べ、高次元脳結合パターンをどれほど効果的に捉えられるか？
• RQ4 提案手法は、既存の最先端手法に比べて早期MCIをより高い精度で検出できるか？
• RQ5 可視化された結合変化から、AD進行に伴う脳ネットワーク再編成に関するどのような知見が得られるか？

主な発見

• MRL-AHFモデルは、AD対NC分類において95.07%の精度を達成し、同じタスクでSVM（76.05%）およびDCNN（84.51%）を顕著に上回った。
• LMCI対NC分類では91.56%の精度を達成し、次に優れた手法よりも2.08ポイント高い性能を示した。
• t-SNE可視化により、SVMおよびDCNNと比較して、特徴クラスタがはっきりと分離されていることから、モデルの優れた判別力が裏付けられた。
• 結合行列解析から、早期MCI段階では補償的結合が増加しているのに対し、後期AD段階では減少していることが明らかになり、既知の神経生物学的メカニズムを支持した。
• MRI、fMRI、DTIの3つの完全なモダリティを用いたモデルは、2つのモダリティのみを用いたモデルよりも優れた性能を示し、マルチモーダル統合の価値を裏付けた。
• 敵対的ハイパーグラフ統合戦略により、モダリティ間の分布ギャップが効果的に縮小され、統合品質と予測性能が向上した。