[论文解读] Globally-Aware Multiple Instance Classifier for Breast Cancer Screening

Yiqiu Shen, Nan Wu+6 more|arXiv (Cornell University)|Jun 7, 2019

AI in cancer detection参考文献 14被引用 5

一句话总结

本文提出GMIC，一种用于乳腺癌筛查的全局感知多实例分类器，通过结合高分辨率乳腺X线图像的全局显著性图与局部图像块特征，实现放射科医生水平的性能表现。仅使用图像级别标签，该模型可生成可解释的像素级显著性图，并优于ResNet基线模型，在大规模测试集上AUC达到0.876，人机混合模式下AUC达0.883。

ABSTRACT

Deep learning models designed for visual classification tasks on natural images have become prevalent in medical image analysis. However, medical images differ from typical natural images in many ways, such as significantly higher resolutions and smaller regions of interest. Moreover, both the global structure and local details play important roles in medical image analysis tasks. To address these unique properties of medical images, we propose a neural network that is able to classify breast cancer lesions utilizing information from both a global saliency map and multiple local patches. The proposed model outperforms the ResNet-based baseline and achieves radiologist-level performance in the interpretation of screening mammography. Although our model is trained only with image-level labels, it is able to generate pixel-level saliency maps that provide localization of possible malignant findings.

研究动机与目标

• 解决在具有小而临床相关的感兴趣区域的高分辨率医学图像中进行分类的挑战。
• 通过整合来自显著性图的全局上下文信息与来自多个图像块的细粒度局部细节，提升分类性能。
• 实现在无需像素级别标注的情况下，实现弱监督的定位——生成无需像素级标注的像素级显著性图。
• 通过注意力机制突出可疑病灶，使模型对放射科医生具有可解释性。
• 超越现有深度学习基线模型，并在乳腺X线筛查中达到放射科医生水平的诊断准确率。

提出的方法

• 模型采用ResNet-22主干网络，不使用全局平均池化，以保留高分辨率乳腺X线图像的完整分辨率特征。
• 定位模块使用1×1卷积和Sigmoid激活函数生成类别特定的显著性图（SM），以突出显示具有判别性的区域。
• 检测模块从显著性图中选择K个得分最高的图像块作为感兴趣区域（ROI）提案，以供进一步分析。
• 采用多实例学习（MIL）框架，利用注意力机制聚合图像块级别的特征，生成最终的图像级别预测结果。
• 最终预测结果是定位组件与MIL组件的加权组合，注意力机制通过端到端方式联合学习。
• 模型仅使用图像级别标签进行端到端训练，从而实现弱监督定位。

实验结果

研究问题

• RQ1 深度学习模型是否仅使用图像级别标签即可在乳腺癌筛查中达到放射科医生水平的性能？
• RQ2 模型是否能有效结合全局显著性图与局部图像块特征，以提升高分辨率医学图像的分类性能？
• RQ3 基于注意力的图像块选择是否能同时提升病灶定位的准确率与可解释性？
• RQ4 在真实世界筛查场景中，该模型的性能与放射科医生相比如何？
• RQ5 该模型是否能在无需边界框或分割标注的情况下，生成可靠且像素级别的显著性图以供临床解读？

主要发现

• 集成的GMIC模型在测试集上AUC达到0.876，超过读者研究中平均（0.778）和最佳个体放射科医生（0.860）的表现。
• 人机混合模型通过平均GMIC与放射科医生的预测结果，AUC达到0.883，表明人机之间具有互补优势。
• 模型对恶性病变的分类AUC为0.886，对良性病例为0.780，恶性病变的定位F1得分为0.207。
• MIL模块中的注意力机制至关重要——未使用注意力机制的模型（如GMIC-noattn）表现较差，证实其在聚焦于信息丰富的图像块方面的作用。
• 可视化结果显示，显著性图与注意力得分与真实病灶高度对齐，但模型有时仅关注大病灶中最具信息量的部分。
• 定位与MIL组件的结合（GMIC-loc+mil）优于任一单独组件，证明了全局与局部信息融合的协同效应。