[论文解读] MHAttnSurv: Multi-Head Attention for Survival Prediction Using Whole-Slide Pathology Images

Shuai Jiang, Arief A. Suriawinata+1 more|arXiv (Cornell University)|Oct 22, 2021

AI in cancer detection参考文献 44被引用 4

一句话总结

MHAttnSurv 提出了一种多头注意力机制，以提升从全切片病理图像（WSIs）中进行生存预测的性能，重点关注肿瘤切片中多样的形态学模式。在四种类别的 TCGA 癌症中进行评估，其 c-index 达到 0.640，优于先前最先进方法的 c-index 值 0.603 和 0.619。

ABSTRACT

In pathology, whole-slide images (WSI) based survival prediction has attracted increasing interest. However, given the large size of WSIs and the lack of pathologist annotations, extracting the prognostic information from WSIs remains a challenging task. Previous studies have used multiple instance learning approaches to combine the information from multiple randomly sampled patches, but different visual patterns may contribute differently to prognosis prediction. In this study, we developed a multi-head attention approach to focus on various parts of a tumor slide, for more comprehensive information extraction from WSIs. We evaluated our approach on four cancer types from The Cancer Genome Atlas database. Our model achieved an average c-index of 0.640, outperforming two existing state-of-the-art approaches for WSI-based survival prediction, which have an average c-index of 0.603 and 0.619 on these datasets. Visualization of our attention maps reveals each attention head focuses synergistically on different morphological patterns.

研究动机与目标

• 为解决从大规模、未标注的全切片图像（WSIs）中提取预后信息的挑战。
• 克服多实例学习中随机切片采样方法的局限性，聚焦于具有生物学意义的形态学模式。
• 开发一种深度学习模型，自适应地关注 WSI 中的不同区域，以实现更全面的特征表示。
• 通过注意力机制提升基于 WSI 的现有方法在生存预测性能方面表现。
• 提供可解释的注意力图，揭示哪些组织模式对生存预测贡献最大。

提出的方法

• 将多头注意力机制应用于从全切片图像（WSIs）中提取的切片级特征，以学习动态的、注意力加权的表示。
• 使用预训练的卷积神经网络（如 ResNet）对 WSI 中的随机裁剪区域提取切片特征。
• 注意力机制在切片之间计算查询、键和值矩阵，使模型能够聚焦于相关空间模式。
• 多个注意力头使模型能够并行关注不同的形态学模式（如肿瘤细胞、间质组织、坏死区域）。
• 通过全局池化层聚合注意力加权后的特征，随后通过全连接层预测生存结果。
• 采用 Cox 比例风险损失进行端到端训练，以优化生存预测性能。

实验结果

研究问题

• RQ1 多头注意力机制能否有效识别并优先关注全切片图像中用于生存预测的多样化形态学模式？
• RQ2 在基于 WSI 的生存建模中，基于注意力的特征聚合方式与随机切片采样或全局平均池化相比表现如何？
• RQ3 各个注意力头在多大程度上聚焦于 WSI 中具有生物学意义的组织结构？
• RQ4 与现有最先进 WSI 生存预测模型相比，所提出的注意力机制是否能提升 c-index 性能？
• RQ5 注意力图是否能为模型在生存预测中的决策过程提供可解释的洞察？

主要发现

• MHAttnSurv 在 The Cancer Genome Atlas（TCGA）的四种癌症类型中实现了平均 c-index 为 0.640，优于两种最先进方法的 c-index 值 0.603 和 0.619。
• 注意力图的可视化显示，不同注意力头聚焦于不同的形态学模式，如肿瘤细胞簇、间质区域和坏死区域。
• 通过关注多个相关组织区域，而非依赖单一切片或全局平均，模型表现出更强的鲁棒性和泛化能力。
• 注意力机制使预测更具可解释性，因为注意力图突出了切片中具有病理学意义的结构。
• 性能提升在所有四种评估的癌症类型中均保持一致，表明该方法具有广泛的适用性。
• 结果表明，多头注意力能有效捕捉 WSI 中异质性的预后特征，从而提升生存预测性能。