[论文解读] SurvMamba: State Space Model with Multi-grained Multi-modal Interaction for Survival Prediction

Ying Chen, Jiajing Xie+4 more|arXiv (Cornell University)|Apr 11, 2024

Cancer-related molecular mechanisms researchBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

该论文提出 SurvMamba，一种状态空间模型，通过整合全切片图像（WSIs）和转录组数据的多粒度分层表征，以提升生存预测性能。通过引入用于模态内跨粒度建模的分层交互 Mamba（HIM）以及用于级联模态间交互的交互融合 Mamba（IFM），SurvMamba 在五个 TCGA 数据集上实现了 SOTA 性能，且计算成本更低，c-index 达到 0.717。

ABSTRACT

Multi-modal learning that combines pathological images with genomic data has significantly enhanced the accuracy of survival prediction. Nevertheless, existing methods have not fully utilized the inherent hierarchical structure within both whole slide images (WSIs) and transcriptomic data, from which better intra-modal representations and inter-modal integration could be derived. Moreover, many existing studies attempt to improve multi-modal representations through attention mechanisms, which inevitably lead to high complexity when processing high-dimensional WSIs and transcriptomic data. Recently, a structured state space model named Mamba emerged as a promising approach for its superior performance in modeling long sequences with low complexity. In this study, we propose Mamba with multi-grained multi-modal interaction (SurvMamba) for survival prediction. SurvMamba is implemented with a Hierarchical Interaction Mamba (HIM) module that facilitates efficient intra-modal interactions at different granularities, thereby capturing more detailed local features as well as rich global representations. In addition, an Interaction Fusion Mamba (IFM) module is used for cascaded inter-modal interactive fusion, yielding more comprehensive features for survival prediction. Comprehensive evaluations on five TCGA datasets demonstrate that SurvMamba outperforms other existing methods in terms of performance and computational cost.

研究动机与目标

• 解决全切片图像（WSIs）和转录组数据中分层结构在生存预测中未被充分利用的问题。
• 降低多模态生存建模中的计算复杂度，特别是在对高维数据使用注意力机制时。
• 通过利用多粒度特征交互，增强模态内表征学习与模态间融合能力。
• 开发一种可扩展且高效的深度学习框架，以捕捉多模态临床数据中的长程依赖关系。

提出的方法

• 提出分层交互 Mamba（HIM）模块，实现对细粒度（补丁/基因组组）与粗粒度（区域/生物过程）水平的高效模态内特征交互。
• 采用双向 Mamba 架构，建模正向与反向序列依赖关系，提升表征学习效果。
• 引入交互融合 Mamba（IFM）模块，实现 WSI 与转录组特征之间分层级联的多粒度模态间融合。
• 使用选择性结构化状态空间机制（Mamba）建模长序列，实现线性复杂度，替代注意力机制以降低计算成本。
• 应用“词袋”范式，将 WSI 和转录组数据视为“袋”（bags）的实例（补丁/基因组组），支持多实例学习。
• 将 Bi-Mamba 模块与晚期融合策略结合，先对单模态特征进行优化，再进行拼接以预测生存结果。

实验结果

研究问题

• RQ1 对全切片图像和转录组数据中的分层结构进行多粒度建模，是否能提升生存预测性能？
• RQ2 用基于 Mamba 的架构替代注意力机制，是否能在保持或提升预测性能的同时降低计算成本？
• RQ3 在多个粒度层级上进行级联模态间交互，在增强多模态表征学习方面有多有效？
• RQ4 与单向或非循环方法相比，状态空间框架中采用双向建模在预后预测方面有多大提升？

主要发现

• SurvMamba 在五个 TCGA 癌症数据集上达到 0.717 的 c-index，优于现有 SOTA 方法，在预测性能和计算效率方面均表现更优。
• 消融实验证明，将粗粒度特征引入 HIM 模块后，c-index 从仅使用细粒度特征的 0.689 提升至 0.695，验证了分层建模的价值。
• 使用 IFM 处理细粒度特征使 c-index 提升至 0.701，而粗粒度 IFM 为 0.689，证实了多粒度模态间融合的有效性。
• SurvMamba 的双向设计显著提升了预测鲁棒性，表现为更高的中位 c-index 和更窄的四分位距范围，尤其在 BRCA 数据集中（箱线图重叠极少）。
• Kaplan-Meier 生存曲线在所有五个 TCGA 数据集中均清晰分离出低风险与高风险组，p 值均 < 0.05，表明具有统计学意义的预后能力。
• 与基于注意力的方法相比，该模型计算复杂度更低，验证了其在大规模临床部署中的高效性。