[论文解读] Cross-Modal Translation and Alignment for Survival Analysis

Fengtao Zhou, Hao Chen|arXiv (Cornell University)|Sep 22, 2023

AI in cancer detection被引用 4

一句话总结

本文提出了一种名为跨模态翻译与对齐（CMTA）的新框架，用于生存分析。该框架通过使用并行的编码器-解码器结构和跨模态注意力模块，联合学习病理图像与基因组谱型，利用对齐的跨模态特征增强模态内表示。CMTA在五个TCGA数据集上优于最先进方法，通过有效捕捉跨模态相关性并传递互补信息，而无需依赖单一模态作为监督信号。

ABSTRACT

With the rapid advances in high-throughput sequencing technologies, the focus of survival analysis has shifted from examining clinical indicators to incorporating genomic profiles with pathological images. However, existing methods either directly adopt a straightforward fusion of pathological features and genomic profiles for survival prediction, or take genomic profiles as guidance to integrate the features of pathological images. The former would overlook intrinsic cross-modal correlations. The latter would discard pathological information irrelevant to gene expression. To address these issues, we present a Cross-Modal Translation and Alignment (CMTA) framework to explore the intrinsic cross-modal correlations and transfer potential complementary information. Specifically, we construct two parallel encoder-decoder structures for multi-modal data to integrate intra-modal information and generate cross-modal representation. Taking the generated cross-modal representation to enhance and recalibrate intra-modal representation can significantly improve its discrimination for comprehensive survival analysis. To explore the intrinsic crossmodal correlations, we further design a cross-modal attention module as the information bridge between different modalities to perform cross-modal interactions and transfer complementary information. Our extensive experiments on five public TCGA datasets demonstrate that our proposed framework outperforms the state-of-the-art methods.

研究动机与目标

• 解决现有生存分析方法的局限性，即要么忽略跨模态相关性，要么依赖单一模态作为监督信号。
• 在某一模态判别能力较弱时，仍能保留并利用来自病理图像与基因组谱型的互补信息。
• 通过利用相互对齐的跨模态表示来增强模态内表示，从而提高生存预测的准确性。
• 开发一种稳健且对称的多模态学习框架，避免高质量病理特征被低质量基因组引导所污染。

提出的方法

• 使用两个并行的编码器-解码器网络，独立地从病理图像和基因组谱型中提取模态内表示。
• 引入跨模态注意力作为信息桥梁，以建模模态之间的交互并传递互补特征。
• 利用跨模态表示对原始模态内特征进行再校准和增强，提升其判别能力。
• 应用对齐损失 $\mathcal{L}_{sim}$，确保跨模态表示与其对应的模态内表示保持接近，从而保留模态特异性语义。
• 在损失计算过程中应用分离（detach）操作，以防止梯度泄漏，并避免学习冗余共享特征。
• 在基于TransMIL的架构中使用PPEG模块，以建模图像切片之间的空间关系。

实验结果

研究问题

• RQ1 对称的、基于注意力的跨模态框架是否能够超越传统融合方法或注意力引导方法，在生存预测方面取得更好性能？
• RQ2 跨模态对齐如何影响多模态生存分析中模态内表示的判别能力？
• RQ3 不同相似性度量（如L1、MSE、余弦相似度）对跨模态表示学习有何影响？
• RQ4 如跨模态注意力和PPEG等架构组件如何贡献于模型性能？
• RQ5 移除对齐约束或分离操作是否会导致模型性能显著下降？

主要发现

• CMTA在五个TCGA数据集上达到最先进性能，优于现有方法的生存预测效果。
• L1范数作为相似性度量在所有数据集上表现最佳，仅在GBMLGG数据集上所有度量表现相近。
• 移除跨模态注意力模块后，LUAD数据集上的性能下降最高达4.93%，表明其在特征交互中的关键作用。
• 在BRCA数据集上，若移除对齐约束 $\mathcal{L}_{sim}$，性能下降3.75%，表明其在保持表示质量方面的重要性。
• 在BLCA数据集上，若移除分离操作，性能下降9.08%，证明其能有效防止模型学习冗余特征并维持有效优化。
• PPEG模块贡献显著，当其在UCEC数据集上被移除时，性能下降3.16%，凸显其在建模全切片图像空间上下文中的作用。