[论文解读] Deep Learning Under the Microscope: Improving the Interpretability of Medical Imaging Neural Networks

Magdalini Paschali, Muhammad Ferjad Naeem+4 more|arXiv (Cornell University)|Apr 5, 2019

AI in cancer detection参考文献 2被引用 5

一句话总结

本文提出MILSILBagnet，一种用于组织病理学全切片图像（WSI）分类的弱监督深度学习框架，具备可解释性。通过结合基于词袋模型的深度神经网络与多实例学习（MIL）分支，并引入细粒度logit热力图可视化，该方法在CRC和Camelyon16数据集上均优于基线模型，实现了更高的分类准确率与亚细胞水平的关注定位，其临床可解释性经专家病理科医生验证。

ABSTRACT

In this paper, we propose a novel interpretation method tailored to histological Whole Slide Image (WSI) processing. A Deep Neural Network (DNN), inspired by Bag-of-Features models is equipped with a Multiple Instance Learning (MIL) branch and trained with weak supervision for WSI classification. MIL avoids label ambiguity and enhances our model's expressive power without guiding its attention. We utilize a fine-grained logit heatmap of the models activations to interpret its decision-making process. The proposed method is quantitatively and qualitatively evaluated on two challenging histology datasets, outperforming a variety of baselines. In addition, two expert pathologists were consulted regarding the interpretability provided by our method and acknowledged its potential for integration into several clinical applications.

研究动机与目标

• 为解决全切片图像（WSI）组织病理学分类深度学习模型中缺乏细粒度、可扩展的可解释性问题。
• 通过实现模型激活与大尺寸WSI中亚细胞结构之间的直接对应关系，提升模型可解释性。
• 开发一种弱监督方法，避免依赖昂贵的细胞核级标注，同时保持高决策准确率。
• 为病理科医生提供一种临床可操作的可视化工具，支持标注与诊断工作流程。
• 在公开的组织病理学数据集上，评估该方法在性能与可解释性方面相对于最先进基线模型的表现。

提出的方法

• 该模型采用基于词袋模型的架构，利用1×1卷积将每个2048维特征向量映射到原始WSI的9×9空间区域，实现像素级对应关系。
• 集成多实例学习（MIL）分支以处理弱监督，其中整个WSI被标注而无需实例级标注，从而提升模型的鲁棒性与表达能力。
• 独立的空域实例学习（SIL）分支计算patch级logits，用于生成细粒度logit热力图以增强可解释性。
• 最终预测通过MIL分支上的全局平均池化层实现，从而从弱标注的WSI中完成袋级分类。
• logit热力图可视化方法直接将模型激活映射到图像区域，提供高分辨率的关注度图，能够突出显示亚细胞水平的恶性细胞。
• 模型通过在弱标注WSI上使用交叉熵损失端到端训练，无需实例级边界框或分割掩码。

实验结果

研究问题

• RQ1 弱监督深度学习模型是否能在保持亚细胞级别细粒度可解释性的同时，实现全切片图像分类的高准确率？
• RQ2 将MIL分支与基于词袋模型的架构结合，是否能相比标准DNN在组织病理学WSI上提升模型性能与鲁棒性？
• RQ3 与CAM或GradCAM相比，logit热力图是否能提供更准确且更具临床意义的关注度图？
• RQ4 所提出的可视化方法在多大程度上可支持病理科医生完成标注任务与临床决策？
• RQ5 该模型在不同放大倍数下是否具备良好的可扩展性，同时在复杂组织学结构中保持关注细节？

主要发现

• 在Camelyon16数据集上，该方法通过MIL分支实现了98.00 ± 2.74%的准确率，优于表现最佳的基线方法（ADMIL）3.16个百分点。
• 在CRC数据集上，该方法通过SIL分支达到89.59 ± 3.03%的准确率，超过次优方法（ADMW）4.24个百分点。
• logit热力图可视化展现出更优的细粒度关注度，即使在高倍放大下也能清晰突出显示恶性细胞核，而CAM与GradCAM则聚焦于整体结构。
• 专家病理科医生更偏好本方法的logit热力图，因其清晰度高、具备亚细胞分辨率，并与诊断特征有直接对应关系。
• 如图3所示，该方法在多个放大倍数下均保持高分辨率关注度，且在放大区域未出现细节退化。
• 病理科医生验证了该模型的可扩展性与可解释性，指出其在自动化标注与辅助病理科医生培训方面具有潜在临床应用价值。