[论文解读] Towards Explainable End-to-End Prostate Cancer Relapse Prediction from H&E Images Combining Self-Attention Multiple Instance Learning with a Recurrent Neural Network

Esther Dietrich, Patrick Fuhlert+6 more|arXiv (Cornell University)|Nov 26, 2021

AI in cancer detection参考文献 39被引用 7

一句话总结

该论文提出 eCaReNet，一种可解释的深度学习模型，仅使用复发时间作为监督信号，从苏木精-伊红染色的全切片图像中预测前列腺癌复发。通过结合自注意力多实例学习与门控循环网络，其在验证集上达到 0.78 的 AUC，与专家病理科医生水平相当，同时通过注意力权重突出显示恶性组织区域，实现可解释性。

ABSTRACT

Clinical decision support for histopathology image data mainly focuses on strongly supervised annotations, which offers intuitive interpretability, but is bound by expert performance. Here, we propose an explainable cancer relapse prediction network (eCaReNet) and show that end-to-end learning without strong annotations offers state-of-the-art performance while interpretability can be included through an attention mechanism. On the use case of prostate cancer survival prediction, using 14,479 images and only relapse times as annotations, we reach a cumulative dynamic AUC of 0.78 on a validation set, being on par with an expert pathologist (and an AUC of 0.77 on a separate test set). Our model is well-calibrated and outputs survival curves as well as a risk score and group per patient. Making use of the attention weights of a multiple instance learning layer, we show that malignant patches have a higher influence on the prediction than benign patches, thus offering an intuitive interpretation of the prediction. Our code is available at www.github.com/imsb-uke/ecarenet.

研究动机与目标

• 开发一种端到端的深度学习模型，用于预测前列腺癌复发，仅需时间至复发的标注，无需专家标记的组织区域。
• 通过注意力机制集成可解释性，突出显示生物上相关的组织区域。
• 证明仅使用全切片图像的生存预测性能可与专家病理科医生评分（如 ISUP）相当，而无需完整全切片图像的标注。
• 通过显示恶性病灶获得更高注意力权重，验证模型的可解释性。

提出的方法

• 模型在多实例学习（MIL）框架中使用自注意力机制，从全切片图像中识别最具预测力的图像块。
• 门控循环网络（GRU）随时间处理加权后的注意力图像块，以建模生存轨迹。
• 模型使用仅时间至生化复发（BCR）作为真实标签进行端到端训练，无需如 Gleason 评分等强标注。
• 利用 MIL 层的注意力权重解释模型预测，识别对结果影响最大的组织区域。
• 模型输出患者特异的生存曲线、风险评分和风险分组，支持临床决策。
• 消融研究及在合成与真实数据集上的实验验证了模型性能与基于注意力的可解释性。

实验结果

研究问题

• RQ1 仅使用复发时间作为监督信号，不依赖专家标注的组织区域，深度学习模型能否在前列腺癌复发预测中达到最先进性能？
• RQ2 在多实例学习框架中，注意力机制能否通过突出显示恶性组织区域，提供临床可解释的解释？
• RQ3 仅基于复发时间训练的端到端模型，在预测复发方面的性能与专家标注的 ISUP 分级相比如何？
• RQ4 模型中的注意力权重是否与病理学相关区域（如专家标记的肿瘤区域）相关？
• RQ5 模型在不同数据划分（包括删失病例）下是否具备良好的校准性与鲁棒性？

主要发现

• 模型在验证集上实现 0.78 的累积动态 AUC，在测试集上为 0.77，与使用 ISUP 分级的专家病理科医生性能相当。
• 模型校准良好，能随时间提供可靠的生存概率估计。
• 在具有已知图像块标注的合成数据集中，恶性图像块获得的注意力权重显著高于良性图像块（p < 0.01）。
• 在真实患者图像中，注意力权重最高的所有图像块均位于专家标注的肿瘤区域，证实模型聚焦于相关病理区域。
• 在测试集中，被标记为肿瘤的图像块获得的注意力权重显著高于非肿瘤图像块，表明与临床诊断一致。
• 模型泛化能力良好，不同注意力机制的消融变体仍实现了 0.74 至 0.76 的 AUC。