[论文解读] Deep Biological Pathway Informed Pathology-Genomic Multimodal Survival Prediction

Lin Qiu, Aminollah Khormali+1 more|arXiv (Cornell University)|Jan 6, 2023

AI in cancer detection被引用 5

一句话总结

PONET 是一种新颖的、基于生物通路的深度学习模型，通过整合全切片图像（WSIs）和基因组数据，实现多模态癌症生存预测。通过采用具有因子化双线性建模和基于图的注意力机制的分层融合框架，PONET 在六个 TCGA 数据集上实现了最先进性能，同时实现了对与患者生存结局相关的关键基因和通路的可解释性识别。

ABSTRACT

The integration of multi-modal data, such as pathological images and genomic data, is essential for understanding cancer heterogeneity and complexity for personalized treatments, as well as for enhancing survival predictions. Despite the progress made in integrating pathology and genomic data, most existing methods cannot mine the complex inter-modality relations thoroughly. Additionally, identifying explainable features from these models that govern preclinical discovery and clinical prediction is crucial for cancer diagnosis, prognosis, and therapeutic response studies. We propose PONET- a novel biological pathway-informed pathology-genomic deep model that integrates pathological images and genomic data not only to improve survival prediction but also to identify genes and pathways that cause different survival rates in patients. Empirical results on six of The Cancer Genome Atlas (TCGA) datasets show that our proposed method achieves superior predictive performance and reveals meaningful biological interpretations. The proposed method establishes insight into how to train biologically informed deep networks on multimodal biomedical data which will have general applicability for understanding diseases and predicting response and resistance to treatment.

研究动机与目标

• 解决在癌症生存预测中对全切片图像（WSIs）与基因组谱之间复杂跨模态交互作用建模不足的挑战。
• 通过整合经整理的生物通路中的先验生物学知识，提升生存预测的准确性。
• 通过识别影响患者生存的关键基因和通路，实现可解释的模型输出。
• 通过可视化全切片图像中基因组通路活性与形态学特征之间的空间关联，增强生物学洞察力。
• 开发一种计算效率高且强大的多模态融合架构，在性能与可解释性方面均优于现有方法。

提出的方法

• PONET 采用分层多模态融合框架，依次执行单模态、双模态和三模态融合，以捕捉病理图像、基因组数据与生物通路之间的复杂交互作用。
• 该模型使用因子化双线性模块，高效建模跨模态交互作用，相比基于标准克罗内克积的融合方法，显著降低了参数量与 FLOP 计数。
• 应用图融合网络以编码生物通路之间的关系，实现通路感知的表征学习。
• 集成模态特定与跨模态注意力机制，突出显示来自 WSI 和基因组谱的有信息量特征。
• 模型利用 MCAT（多模态协同注意力变换器）的协同注意力机制，生成与顶级通路嵌入对齐的 WSI 级注意力热图。
• 通过基于梯度的显著性图与顶级通路排序，评估通路相关性，揭示与生存结局具有生物学意义的关联。

实验结果

研究问题

• RQ1 基于通路信息的深度学习模型是否能通过整合全切片图像与基因组谱，提升生存预测的准确性？
• RQ2 该模型在捕捉和利用组织病理图像与分子数据之间复杂跨模态交互作用方面，效率如何？
• RQ3 该模型在多大程度上能够识别并解释与患者生存相关的生物相关基因和通路？
• RQ4 在 WSI 中可视化通路活性是否能揭示预后的形态学决定因素？
• RQ5 所提出的分层融合机制在效率与性能方面，与现有多模态融合方法相比如何？

主要发现

• PONET 在六个 TCGA 数据集上实现了卓越的生存预测性能，将患者分层为高风险与低风险组的 log-rank p 值为 6.60e-7。
• 该模型识别出与生存相关的关键生物通路，包括 TGF-β 受体信号通路下调、PTEN 调节、NLRP1 炎性体激活以及非经典 NOTCH3 信号通路。
• PONET 显著降低了模型复杂度，推理阶段仅需 280 万个参数与 31 亿 FLOPS，约为 Pathomic Fusion 的 1.6% 和 GPDBN 的 3.4%。
• 协同注意力可视化揭示了 WSI 中明显的空间模式：高通路注意力区域与更高的预测死亡风险相关，表明存在基因型-表型关联。
• PONET 识别出的前几位基因与通路具有强烈的生物学合理性，已知在肿瘤进展、免疫调节与血管生成中发挥关键作用。
• 分层融合策略在预测性能与模型可解释性方面，均优于 ARGF 与 HFBSurv 等基线模型。