[论文解读] A Multi-resolution Model for Histopathology Image Classification and Localization with Multiple Instance Learning

Jiayun Li, Wenyuan Li+5 more|arXiv (Cornell University)|Nov 5, 2020

AI in cancer detection参考文献 60被引用 6

一句话总结

该论文提出了一种用于全切片图像分析的多分辨率多实例学习（MRMIL）模型，仅使用切片级别标签即可定位可疑区域并分类前列腺癌分级。通过利用注意力图和分层特征提取，该模型在外部数据集上实现了98.2%的AUROC用于癌症检测，且在良性和低等级、高等级分类任务中达到92.7%的准确率和81.8%的Cohen’s Kappa值。

ABSTRACT

Histopathological images provide rich information for disease diagnosis. Large numbers of histopathological images have been digitized into high resolution whole slide images, opening opportunities in developing computational image analysis tools to reduce pathologists' workload and potentially improve inter- and intra- observer agreement. Most previous work on whole slide image analysis has focused on classification or segmentation of small pre-selected regions-of-interest, which requires fine-grained annotation and is non-trivial to extend for large-scale whole slide analysis. In this paper, we proposed a multi-resolution multiple instance learning model that leverages saliency maps to detect suspicious regions for fine-grained grade prediction. Instead of relying on expensive region- or pixel-level annotations, our model can be trained end-to-end with only slide-level labels. The model is developed on a large-scale prostate biopsy dataset containing 20,229 slides from 830 patients. The model achieved 92.7% accuracy, 81.8% Cohen's Kappa for benign, low grade (i.e. Grade group 1) and high grade (i.e. Grade group >= 2) prediction, an area under the receiver operating characteristic curve (AUROC) of 98.2% and an average precision (AP) of 97.4% for differentiating malignant and benign slides. The model obtained an AUROC of 99.4% and an AP of 99.8% for cancer detection on an external dataset.

研究动机与目标

• 通过开发一种弱监督深度学习模型，减少病理科医生的工作负担，用于全切片图像分析。
• 在无需昂贵像素级或补丁级标注的情况下，定位组织病理学切片中的可疑区域。
• 通过实现自动化、可解释的分类，提高前列腺癌分级的组间和组内一致性。
• 开发一种可临床部署的CAD工具，支持病理学工作流程中的初次筛查和二次阅片。

提出的方法

• 该模型采用两阶段框架：第一阶段通过注意力图识别显著区域，第二阶段使用这些区域的高分辨率切片进行分类。
• 在不同放大倍数下从全切片图像中提取多分辨率特征，以捕捉全局上下文和细微组织细节。
• 应用多实例学习（MIL），使用切片级别标签，其中每张切片被视为一个补丁袋，模型学习识别最具预测性的补丁。
• 注意力模块生成显著性图，突出显示具有诊断意义的区域，从而提高可解释性并使模型更专注于癌变区域。
• 在训练过程中应用实例丢弃以正则化模型，提升在多样化组织形态上的泛化能力。
• 使用Grad-CAM可视化技术解释预测结果，并验证注意力图与病理由相关特征的一致性。

实验结果

研究问题

• RQ1 仅使用切片级别标签的弱监督深度学习模型能否在全切片图像中定位癌变区域？
• RQ2 多分辨率特征学习在提升异质性组织病理学切片分类性能方面有多有效？
• RQ3 模型生成的注意力图在多大程度上与专家识别的病理由相关区域一致？
• RQ4 该模型能否在无需细粒度标注的情况下实现癌症检测和分级预测的最先进性能？

主要发现

• MRMIL模型在20,229张切片的数据集中，对良性、低等级（GG1）和高等级（GG ≥ 2）前列腺癌的分类准确率达到92.7%，Cohen’s Kappa值为81.8%。
• 在内部数据集中，该模型在区分恶性与良性切片的AUROC达到98.2%。
• 在外部数据集中，该模型在癌症检测任务中实现了99.4%的AUROC和99.8%的平均精度，表现出强大的泛化能力。
• 与基线切片选择方法相比，引入基于注意力的切片选择使Cohen’s Kappa提升了1%；进一步应用实例丢弃使性能提升超过3%。
• Grad-CAM可视化结果表明，模型聚焦于生物学相关区域，包括腺泡性腺癌和前列腺导管内癌，即使未针对后者进行显式训练。
• 特征空间分析显示，恶性切片在嵌入空间中形成独立聚类，而低等级与高等级切片在嵌入空间中可分离，表明模型具备有效的表征学习能力。