[论文解读] Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction

Guillaume Jaume, Anurag Vaidya+4 more|arXiv (Cornell University)|Apr 13, 2023

Cancer-related molecular mechanisms research被引用 9

一句话总结

SurvPath 学习来自转录组的基于通路的标记，并从WSIs的病理切片标记中进行融合，使用记忆高效的Transformer来预测TCGA数据中的疾病特异生存，并提供多模态解释能力。

ABSTRACT

Integrating whole-slide images (WSIs) and bulk transcriptomics for predicting patient survival can improve our understanding of patient prognosis. However, this multimodal task is particularly challenging due to the different nature of these data: WSIs represent a very high-dimensional spatial description of a tumor, while bulk transcriptomics represent a global description of gene expression levels within that tumor. In this context, our work aims to address two key challenges: (1) how can we tokenize transcriptomics in a semantically meaningful and interpretable way?, and (2) how can we capture dense multimodal interactions between these two modalities? Specifically, we propose to learn biological pathway tokens from transcriptomics that can encode specific cellular functions. Together with histology patch tokens that encode the different morphological patterns in the WSI, we argue that they form appropriate reasoning units for downstream interpretability analyses. We propose fusing both modalities using a memory-efficient multimodal Transformer that can model interactions between pathway and histology patch tokens. Our proposed model, SURVPATH, achieves state-of-the-art performance when evaluated against both unimodal and multimodal baselines on five datasets from The Cancer Genome Atlas. Our interpretability framework identifies key multimodal prognostic factors, and, as such, can provide valuable insights into the interaction between genotype and phenotype, enabling a deeper understanding of the underlying biological mechanisms at play. We make our code public at: https://github.com/ajv012/SurvPath.

研究动机与目标

• 将 bulk 转录组与全切片图像（WSIs）整合以提升患者生存预测。
• 提出基于生物通路的语义丰富的转录组标记器以实现端到端学习。
• 开发记忆高效的Transformer融合以建模密集的通路–切片交互。
• 提供多层次的可解释性框架以揭示单模态与跨模态的预后因素。
• 在五个TCGA数据集中实现相比单模态及其他多模态基线的最先进性能。

提出的方法

• 使用一个稀疏MLP映射将基因表达转化为通路表示，从而对转录组进行生物通路标记。
• 使用预训练的Swin Transformer从WSIs提取组织切片标记，并投影到一个公共的标记维度。
• 将通路标记和切片标记与记忆高效的Transformer融合，该模型解耦通路–通路、通路–切片、切片–通路交互，同时忽略切片–切片交互。
• 使用离散时间危害模型并在删失下采用负对数似然生存损失来预测生存。
• 提供一个可解释性框架，使用Integrated Gradients对通路/基因进行解释，并使用Transformer注意力对跨模态交互（通路↔切片）进行解释。

实验结果

研究问题

• RQ1 通路标记化的转录组能否捕获有意义的细胞过程来用于多模态预后吗？
• RQ2 记忆高效的Transformer是否能建模通路标记与病理切片标记之间的密集交互以提升生存预测？
• RQ3 通路与切片标记的早期融合是否优于以往的晚期融合基线在生存分析中的表现？
• RQ4 模型的注意力与归因分析能给出哪些单模态及跨模态的预后洞见？

主要发现

• SurvPath在五个TCGA数据集上相对于单模态和多模态基线，达到最先进的一致性索引（c-index）。
• 基于通路的转录组标记（331个通路）提供了语义上有意义且可学习的单位，并与用于预后的组织学特征对齐。
• 记忆高效的注意力机制使得在大规模下也能建模通路–切片与通路–通路的交互，而不会带来高昂的内存成本。
• 生存预测从模态的早期融合受益，优于若干基线融合策略。
• 可解释性分析识别出关键的多模态预后因素，并展示了特定通路如何与形态学模式相互作用。