[论文解读] iMD4GC: Incomplete Multimodal Data Integration to Advance Precise Treatment Response Prediction and Survival Analysis for Gastric Cancer

Fengtao Zhou, Yingxue Xu+12 more|arXiv (Cornell University)|Apr 1, 2024

Gastric Cancer Management and Outcomes被引用 4

一句话总结

该论文提出iMD4GC，一种用于胃癌（GC）不完整多模态数据整合的新框架，结合单模态注意力、跨模态交互以及“多对少”知识蒸馏，以提升治疗反应预测与生存分析性能。在具有缺失模态模式的大规模真实胃癌数据集上，其在GastricRes数据集上达到80.2% AUC，在GastricSur数据集上达到71.4% C-index，显著优于现有方法。

ABSTRACT

Gastric cancer (GC) is a prevalent malignancy worldwide, ranking as the fifth most common cancer with over 1 million new cases and 700 thousand deaths in 2020. Locally advanced gastric cancer (LAGC) accounts for approximately two-thirds of GC diagnoses, and neoadjuvant chemotherapy (NACT) has emerged as the standard treatment for LAGC. However, the effectiveness of NACT varies significantly among patients, with a considerable subset displaying treatment resistance. Ineffective NACT not only leads to adverse effects but also misses the optimal therapeutic window, resulting in lower survival rate. However, existing multimodal learning methods assume the availability of all modalities for each patient, which does not align with the reality of clinical practice. The limited availability of modalities for each patient would cause information loss, adversely affecting predictive accuracy. In this study, we propose an incomplete multimodal data integration framework for GC (iMD4GC) to address the challenges posed by incomplete multimodal data, enabling precise response prediction and survival analysis. Specifically, iMD4GC incorporates unimodal attention layers for each modality to capture intra-modal information. Subsequently, the cross-modal interaction layers explore potential inter-modal interactions and capture complementary information across modalities, thereby enabling information compensation for missing modalities. To evaluate iMD4GC, we collected three multimodal datasets for GC study: GastricRes (698 cases) for response prediction, GastricSur (801 cases) for survival analysis, and TCGA-STAD (400 cases) for survival analysis. The scale of our datasets is significantly larger than previous studies. The iMD4GC achieved impressive performance with an 80.2% AUC on GastricRes, 71.4% C-index on GastricSur, and 66.1% C-index on TCGA-STAD, significantly surpassing other compared methods.

研究动机与目标

• 为解决胃癌（GC）预测中不完整多模态数据的挑战，即并非所有患者均具备所有数据类型（如影像、病理、基因组学）。
• 提升局部晚期胃癌（LAGC）患者在异质性治疗反应背景下的新辅助化疗（NACT）反应预测与生存预后准确性。
• 开发一种稳健、可解释且可扩展的深度学习框架，通过知识蒸馏与跨模态交互补偿缺失模态。
• 构建并发布三个大规模真实世界多模态胃癌数据集：GastricRes（698例）、GastricSur（801例）与TCGA-STAD（400例），用于治疗反应与生存预测。

提出的方法

• iMD4GC使用单模态注意力层，从临床、放射科、病理学与基因组数据中提取并表征模态内特征。
• 引入跨模态交互层，以建模模态间关系，并在模态缺失时实现信息补偿。
• 采用“多对少”知识蒸馏策略，将完整数据训练模型（更多模态）的知识迁移至模态较少的模型，提升对不完整数据的鲁棒性。
• 框架采用两层Transformer架构，在模态特异性特征提取与投影后，各模态共享200维嵌入表示。
• 超参数α（特征级蒸馏）与β（响应级蒸馏）根据数据集进行调优，以平衡蒸馏损失并优化性能。
• 模型使用Adam优化器进行训练，配合余弦退火学习率调度、权重衰减，并固定随机种子以确保可复现性。

实验结果

研究问题

• RQ1 当部分模态缺失时，多模态深度学习框架能否有效预测胃癌患者的NACT反应？
• RQ2 与标准融合方法相比，跨模态交互与知识蒸馏在不完整多模态数据上的性能提升机制是什么？
• RQ3 多模态胃癌数据的最佳融合策略是什么？该策略是否因不同预测任务（分类与回归）而异？
• RQ4 知识蒸馏在低数据或不完整数据场景下，对胃癌预后模型泛化能力与鲁棒性的增强程度如何？
• RQ5 超参数α与β在不同胃癌数据集与预测任务中的性能影响如何？

主要发现

• 在GastricRes数据集上，iMD4GC在NACT反应预测任务中达到80.2% AUC，显著优于基线方法。
• 在GastricSur数据集上，iMD4GC实现71.4% C-index，表明其在不完整多模态数据下的生存预后预测性能优异。
• 在TCGA-STAD数据集上，iMD4GC实现66.1% C-index，表明其在独立、大规模胃癌队列中表现一致。
• 消融实验证实，特征拼接在所有数据集上均为最优融合策略，而低秩张量融合与使用Transformer的早期融合也展现出较强潜力。
• 超参数分析表明，特征级蒸馏（α）对分类任务（NACT反应）至关重要，而响应级蒸馏（β）在回归任务（生存分析）中更为关键。
• 该框架具备内在可解释性，可实现对模态贡献与决策过程的透明分析，为临床提供可解释洞察。