[论文解读] Multi-modal Graph Fusion for Inductive Disease Classification in Incomplete Datasets

Gerome Vivar, Hendrik Burwinkel+4 more|arXiv (Cornell University)|May 8, 2019

AI in cancer detection参考文献 3被引用 4

一句话总结

该论文提出了一种基于图注意力网络（GATs）的多模态图融合框架，用于在存在分块缺失模态的不完整医学数据集中实现归纳式、节点级别的疾病分类。通过为MRI、PET和CSF数据分别训练独立的GAT分支，并端到端融合其表征，该方法在高缺失率（50%）下仍优于单图基线模型和均值填补方法，展现出对新患者样本的鲁棒性与泛化能力。

ABSTRACT

Clinical diagnostic decision making and population-based studies often rely on multi-modal data which is noisy and incomplete. Recently, several works proposed geometric deep learning approaches to solve disease classification, by modeling patients as nodes in a graph, along with graph signal processing of multi-modal features. Many of these approaches are limited by assuming modality- and feature-completeness, and by transductive inference, which requires re-training of the entire model for each new test sample. In this work, we propose a novel inductive graph-based approach that can generalize to out-of-sample patients, despite missing features from entire modalities per patient. We propose multi-modal graph fusion which is trained end-to-end towards node-level classification. We demonstrate the fundamental working principle of this method on a simplified MNIST toy dataset. In experiments on medical data, our method outperforms single static graph approach in multi-modal disease classification.

研究动机与目标

• 解决临床决策支持系统中多模态、不完整医学数据的挑战。
• 即使缺失完整模态（如无MRI或PET扫描），仍能实现归纳式、新样本的疾病分类。
• 相比对图初始化敏感的单图GNN，提升泛化能力与鲁棒性。
• 开发一种端到端可训练的融合机制，即使部分模态缺失，也能利用多模态信息。
• 在真实世界医学数据（TADPOLE）和受控缺失率下的改进MNIST数据集上评估该方法。

提出的方法

• 该方法采用多个GAT分支，每个分支独立处理一种模态（如MRI、PET、CSF），以实现模态特定的表征学习。
• 每种模态通过带有多头注意力的GAT进行处理，基于特征相似性动态加权邻近节点。
• 采用晚期融合策略，通过逐元素平均或拼接各独立GAT分支的输出，再经最终分类器进行分类。
• 使用节点级别的交叉熵损失进行端到端训练，支持对未见过的患者进行归纳推理。
• 图结构通过k近邻（NN-Graph）或互信息（MI-Graph）初始化，以捕捉特征空间中的患者相似性。
• 该方法支持分块缺失，即每名患者可完全缺失某一模态，无需填补。

实验结果

研究问题

• RQ1 多模态图融合框架在存在分块缺失的不完整数据中进行疾病分类时，是否优于单图GNN？
• RQ2 与标准机器学习和GNN基线相比，该方法在不同模态缺失率（如10%、50%）下的表现如何？
• RQ3 多个GAT分支的端到端训练是否相比单个静态图结构，能提升对图初始化的鲁棒性？
• RQ4 即使缺失完整模态，模型是否仍能对训练中未见的新患者样本实现泛化？
• RQ5 在真实临床数据集中，多模态特定图的融合是否优于均值填补策略？

主要发现

• 在TADPOLE数据集上，所提出的GAT-Fusion方法达到72.07%的准确率，显著优于使用均值填补的单图GAT（GAT-Imp），后者准确率低10%至24%。
• 在改进的MNIST数据集上，50%分块缺失率下，GAT-Fusion方法达到90.26%准确率，仅在40%和50%缺失率时超过随机森林（92.37%）。
• GAT-Fusion模型对图初始化表现出更强鲁棒性，因其不依赖于单一可能次优的图结构。
• 在TADPOLE数据集中，表现最佳的GAT-Fusion变体（GAT1 with MI-Graph）AUC达到0.569，优于其他GAT和基线模型。
• 该方法成功实现了归纳推理，可对未包含在训练图中的患者进行分类，这是相对于归纳方法的关键优势。
• 结果证实，多图融合在处理真实世界不完整医学数据方面，比单图或均值填补基线更有效。