[论文解读] An interpretable classifier for high-resolution breast cancer screening images utilizing weakly supervised localization

Yiqiu Shen, Nan Wu+9 more|arXiv (Cornell University)|Feb 13, 2020

AI in cancer detection参考文献 83被引用 17

一句话总结

该论文提出了一种内存高效、可解释的深度学习框架——全局感知多实例分类器（GMIC），用于高分辨率筛查乳腺X线摄影，仅使用图像级别标签即可定位并分类良性与恶性病灶。通过将低容量全局网络用于粗略定位，与在选定区域上运行的高容量局部网络相结合，GMIC 在百万张图像数据集上实现了 0.93 的 SOTA AUC，优于 ResNet-34 和 Faster R-CNN，且推理速度提升 4.1 倍，GPU 显存使用量减少 78.4%。

ABSTRACT

Medical images differ from natural images in significantly higher resolutions and smaller regions of interest. Because of these differences, neural network architectures that work well for natural images might not be applicable to medical image analysis. In this work, we extend the globally-aware multiple instance classifier, a framework we proposed to address these unique properties of medical images. This model first uses a low-capacity, yet memory-efficient, network on the whole image to identify the most informative regions. It then applies another higher-capacity network to collect details from chosen regions. Finally, it employs a fusion module that aggregates global and local information to make a final prediction. While existing methods often require lesion segmentation during training, our model is trained with only image-level labels and can generate pixel-level saliency maps indicating possible malignant findings. We apply the model to screening mammography interpretation: predicting the presence or absence of benign and malignant lesions. On the NYU Breast Cancer Screening Dataset, consisting of more than one million images, our model achieves an AUC of 0.93 in classifying breasts with malignant findings, outperforming ResNet-34 and Faster R-CNN. Compared to ResNet-34, our model is 4.1x faster for inference while using 78.4% less GPU memory. Furthermore, we demonstrate, in a reader study, that our model surpasses radiologist-level AUC by a margin of 0.11. The proposed model is available online: https://github.com/nyukat/GMIC.

研究动机与目标

• 解决在筛查乳腺X线摄影等场景中，对高分辨率医学图像中小而细微的感兴趣区域进行分类的挑战。
• 开发一种模型，利用全局上下文与细粒度局部细节，而无需病灶级别的标注。
• 通过仅使用图像级别标签的弱监督定位，实现像素级可解释性。
• 在保持内存高效的同时实现高性能，适用于大规模医学影像应用。

提出的方法

• 该模型使用低容量全局网络处理整幅图像，生成指示潜在病灶的粗略显著性图。
• 基于激活分数从显著性图中选择最具有信息量的区域，并裁剪出对应图像块。
• 高容量局部网络处理这些选定图像块，以提取细粒度视觉特征。
• 融合模块将全局上下文与局部细节结合，生成最终分类预测结果。
• 整个模型仅使用图像级别标签进行端到端训练，实现弱监督定位。
• 该框架设计为内存高效，可直接处理原始分辨率乳腺X线图像，无需下采样。

实验结果

研究问题

• RQ1 深度学习模型能否在保持内存高效与可解释性的同时，实现对高分辨率筛查乳腺X线图像的高精度分类？
• RQ2 与仅依赖全局特征的模型相比，结合全局上下文与局部细节如何提升分类性能？
• RQ3 仅使用图像级别标签训练的模型能否生成有意义的像素级显著性图，以准确定位潜在恶性病灶？
• RQ4 在大规模乳腺X线数据上，所提出的架构是否在准确率与推理效率方面均优于标准模型（如 ResNet-34 和 Faster R-CNN）？
• RQ5 在提供相同输入的前提下，该模型在读者研究中的表现是否能超越人类放射科医生？

主要发现

• GMIC 模型在 NYU 乳腺癌筛查数据集上对恶性病变分类的 AUC 达到 0.93，优于 ResNet-34 和 Faster R-CNN。
• 与 ResNet-34 相比，该模型推理速度提升 4.1 倍，GPU 显存使用量减少 78.4%，展现出卓越的效率。
• 在读者研究中，该模型在 AUC 上比放射科医生水平高出 0.11，表明其具有更高的诊断准确性。
• 该模型仅通过图像级别标签成功生成了像素级显著性图，实现了对潜在病灶的可解释性定位。
• 消融实验证实，引入局部细节可显著提升性能，凸显了细粒度特征提取的重要性。
• 学习动态分析表明，当全局显著性图过早稳定时，局部模块可能出现过拟合，提示需要协调的训练策略。