[论文解读] An attention-based multi-resolution model for prostate whole slide imageclassification and localization

Jiayun Li, Wenyuan Li+4 more|arXiv (Cornell University)|May 30, 2019

AI in cancer detection参考文献 39被引用 35

一句话总结

该论文提出一个两阶段注意力机制的 MIL 模型用于前列腺全片扫描图像分类和弱监督 ROI 定位，在仅使用切片标签的情况下在切片级分级上达到最先进的准确度。

ABSTRACT

Histology review is often used as the `gold standard' for disease diagnosis. Computer aided diagnosis tools can potentially help improve current pathology workflows by reducing examination time and interobserver variability. Previous work in cancer grading has focused mainly on classifying pre-defined regions of interest (ROIs), or relied on large amounts of fine-grained labels. In this paper, we propose a two-stage attention-based multiple instance learning model for slide-level cancer grading and weakly-supervised ROI detection and demonstrate its use in prostate cancer. Compared with existing Gleason classification models, our model goes a step further by utilizing visualized saliency maps to select informative tiles for fine-grained grade classification. The model was primarily developed on a large-scale whole slide dataset consisting of 3,521 prostate biopsy slides with only slide-level labels from 718 patients. The model achieved state-of-the-art performance for prostate cancer grading with an accuracy of 85.11\% for classifying benign, low-grade (Gleason grade 3+3 or 3+4), and high-grade (Gleason grade 4+3 or higher) slides on an independent test set.

研究动机与目标

• 在仅有切片级标签（弱监督）的情况下，解决在 WSI 上进行前列腺癌分级的挑战。
• 开发带有注意力机制的 MIL 框架，以识别用于分级和定位的有信息量的切片。
• 实现一种两阶段多分辨率方法，以模仿病理学家工作流程（低分辨率筛查然后高分辨率分级）。
• 在大型数据集上展示最先进的准确性，并提供可解释的注意力图用于 ROI 定位。

提出的方法

• 使用 CNN 主干从切片中提取实例级特征。
• 集成注意力模块以计算实例权重并生成用于切片分类的袋级嵌入。
• 在训练过程中应用实例 dropout，以鼓励对有信息区域的探索。
• 对实例特征进行聚类（对降维后的特征进行 PCA），并按簇聚合注意力以引导 ROI 选择。
• 运行两阶段 WSI 流水线：阶段1在 5x 下将癌症与非癌症进行分类，阶段2在 10x 下对选定切片进行分级，分为良性、低等级或高等级。
• 从切片级数据集进行迁移学习，以初始化两个阶段的特征提取器。

实验结果

研究问题

• RQ1 弱监督 MIL 配合注意力是否能够在 WSIs 中定位有信息的区域，同时达到切片级的准确分级？
• RQ2 两阶段多分辨率方法是否比单阶段方法在 Gleason 分级上表现更好？
• RQ3 基于聚类的 ROI 选择对检测有信息区域和整体准确性有何影响？

主要发现

模型	准确率（%）	数据集	分类任务
Zhou et al. [44]	75.00	368 slides	G3+G4 and G4+G3 slides
Xu et al. [42]	79.00	312 slides	GS 6, GS 7, and GS 8 slides
Nagpal et al. [30]	70.00	112 million patches and 1490 slides	4 Gleason groups
Ours	85.11	3521 slides	benign, low-grade, high-grade slides

• 在独立测试集（来自 227 名患者的 860 张切片）上实现了切片级分级的 85.11% 准确率（良性、低等级、高等级）。
• 基于聚类的注意力的两阶段模型优于单阶段和基线注意力模型，相对于单阶段基线的相对提升超过 7%。
• 带实例 dropout 的注意力图比不使用 dropout 的模型在 ROI 定位上更具包容性。
• 与基于蓝比的 ROI 选择（br-two-stage）相比，基于注意力的 ROI 方法获得更高的准确性（att-cluster-two-stage 85.11% vs br-two-stage 80.11%）。
• 来自 Cedars-Sinai 瓷砖数据集的迁移学习提供了一定的益处，但无迁移模型达到 84.30%。