[论文解读] MProtoNet: A Case-Based Interpretable Model for Brain Tumor Classification with 3D Multi-parametric Magnetic Resonance Imaging

Yuanyuan Wei, Roger Tam+1 more|arXiv (Cornell University)|Apr 13, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

MProtoNet 是一种用于 3D 多参数 MRI 脑肿瘤分类的新型基于案例的可解释深度学习模型，通过引入使用软掩码和在线 CAM 损失的新注意力模块，将 ProtoPNet 扩展至医学影像领域。该模型实现了最先进水平的可解释性，激活精度最高达 0.713 ± 0.058，且在训练过程中无需人工标注的标签。

ABSTRACT

Recent applications of deep convolutional neural networks in medical imaging raise concerns about their interpretability. While most explainable deep learning applications use post hoc methods (such as GradCAM) to generate feature attribution maps, there is a new type of case-based reasoning models, namely ProtoPNet and its variants, which identify prototypes during training and compare input image patches with those prototypes. We propose the first medical prototype network (MProtoNet) to extend ProtoPNet to brain tumor classification with 3D multi-parametric magnetic resonance imaging (mpMRI) data. To address different requirements between 2D natural images and 3D mpMRIs especially in terms of localizing attention regions, a new attention module with soft masking and online-CAM loss is introduced. Soft masking helps sharpen attention maps, while online-CAM loss directly utilizes image-level labels when training the attention module. MProtoNet achieves statistically significant improvements in interpretability metrics of both correctness and localization coherence (with a best activation precision of $0.713\pm0.058$) without human-annotated labels during training, when compared with GradCAM and several ProtoPNet variants. The source code is available at https://github.com/aywi/mprotonet.

研究动机与目标

• 为解决 3D 多参数 MRI 在脑肿瘤分类中缺乏可解释深度学习模型的问题。
• 改善医学影像中的注意力定位，尤其是在空间一致性至关重要的 3D 体积数据中。
• 开发一种基于案例推理的模型，既能提供特征重要性图，又能提供原型解释，且不依赖人工标注的标签。
• 使用激活精度和逐步删除得分等指标评估可解释性，独立于分类准确率。
• 将 ProtoPNet 扩展至 3D 医学影像，克服在复杂 3D MRI 数据中定位相关肿瘤区域的局限性。

提出的方法

• 提出 MProtoNet，这是首个用于 3D 多参数 MRI 脑肿瘤分类的原型网络，将 ProtoPNet 扩展至医学影像领域。
• 引入一种新型注意力模块，结合软掩码以增强注意力图的清晰度并提高定位精度。
• 采用在线 CAM 损失，直接在训练过程中使用图像级标签来引导注意力学习。
• 所有模型均采用共享的 3D ResNet 主干网络，以确保在分类性能上的公平比较。
• 应用软掩码通过抑制无关区域来优化注意力图，增强空间一致性。
• 仅使用图像级标签进行端到端训练，避免了对边界框或分割标注的需求。

Figure 1: The overall architecture of MProtoNet. Online-CAM only occurs during training.

实验结果

研究问题

• RQ1 基于案例的原型网络能否有效扩展至 3D 多参数 MRI，用于脑肿瘤分类？
• RQ2 软掩码和在线 CAM 损失在 3D 医学图像中如何改善注意力定位与可解释性？
• RQ3 所提出的 MProtoNet 是否在无需人工标注标签的情况下，优于 GradCAM 和 ProtoPNet 变体的可解释性？
• RQ4 在提升可解释性的同时，该模型在多大程度上保持了分类性能？
• RQ5 该模型能否同时生成准确且空间一致的注意力图与基于案例的原型解释？

主要发现

• MProtoNet C 的激活精度达到最高值 0.713 ± 0.058，显著优于 XProtoNet（p < 0.001）及其他基线模型。
• MProtoNet C 的逐步删除得分（IDS）为 0.079 ± 0.034，相较于 XProtoNet 显著提升（p = 0.031）。
• 该模型保持了 0.858 ± 0.048 的平衡准确率，与基线 CNN 和 XProtoNet 相当，表明分类性能未出现退化。
• 软掩码与在线 CAM 损失共同作用，在 IDS 和激活精度上均带来统计学上显著的提升，证实了其重要性。
• 可视化结果表明，MProtoNet C 生成的注意力图比 GradCAM 和 ProtoPNet 变体更具一致性和局部聚焦性，尤其在复杂的 3D 肿瘤区域表现更优。
• 该模型在无需任何训练阶段人工标注标签的情况下，实现了卓越的可解释性，展现出在真实 3D 医学影像应用中的强大潜力。

Figure 2: Demonstration of the case-based reasoning in MProtoNet. It can provide case-based prototypical explanations with both attention maps and similarity scores.