[论文解读] M3d-CAM: A PyTorch library to generate 3D data attention maps for medical deep learning

Karol Gotkowski, Camila González+2 more|arXiv (Cornell University)|Jul 1, 2020

COVID-19 diagnosis using AI参考文献 9被引用 20

一句话总结

M3d-CAM 是一个 PyTorch 库，可轻松为医学深度学习模型生成 3D 和 2D 注意力图，支持分类和分割任务。它通过单行注入实现无缝集成，提供多种注意力方法，如 Grad-CAM、Guided Backpropagation、Guided Grad-CAM 和 Grad-CAM++，仅需极少代码修改，且与现有模型完全兼容。

ABSTRACT

M3d-CAM is an easy to use library for generating attention maps of CNN-based PyTorch models improving the interpretability of model predictions for humans. The attention maps can be generated with multiple methods like Guided Backpropagation, Grad-CAM, Guided Grad-CAM and Grad-CAM++. These attention maps visualize the regions in the input data that influenced the model prediction the most at a certain layer. Furthermore, M3d-CAM supports 2D and 3D data for the task of classification as well as for segmentation. A key feature is also that in most cases only a single line of code is required for generating attention maps for a model making M3d-CAM basically plug and play.

研究动机与目标

• 通过为 3D 和 2D 输入数据可视化注意力图，提升医学深度学习模型的可解释性。
• 提供即插即用的解决方案，仅需极少代码更改即可集成到现有 PyTorch 模型中。
• 支持多种注意力图生成方法——Grad-CAM、Guided Backpropagation、Guided Grad-CAM 和 Grad-CAM++，适用于分类和分割任务。
• 通过内置指标和可导出的结果，支持使用真实标签掩码对注意力图进行评估。
• 允许用户轻松选择特定层，或自动检测最高卷积层以进行注意力可视化。

提出的方法

• M3d-CAM 通过单行代码注入预训练的 PyTorch 模型：`model = medcam.inject(model)`。
• 该库动态地追加或替换模型函数，以在每次前向传播过程中生成注意力图，而不会改变模型行为。
• 它支持 2D 和 3D 数据输入，并适用于分类和分割模型。
• 注意力图通过多种后端方法生成：Grad-CAM、Guided Backpropagation、Guided Grad-CAM 和 Grad-CAM++。
• 层选择灵活——用户可指定单个层、层列表，或使用 'auto' 自动选择最高卷积层。
• 评估可通过 `model.forward(input, mask)` 或直接使用 `medcam.Evaluator` 实现，结果可导出至 Excel。

实验结果

研究问题

• RQ1 如何高效地使用深度学习模型为 3D 医学影像数据生成注意力图？
• RQ2 在现有基于 PyTorch 的医学模型中集成可解释性功能所需的最小代码开销是多少？
• RQ3 不同注意力图后端方法（如 Grad-CAM 与 Guided Grad-CAM）在 2D 和 3D 数据中可视化模型注意力方面有何差异？
• RQ4 是否可以系统性地使用真实标签掩码对注意力图进行评估，以量化模型的可解释性？
• RQ5 在不修改模型架构或推理流程的前提下，注意力图的生成可扩展到何种程度？

主要发现

• M3d-CAM 仅需一行代码即可实现注意力图生成，具有高度易用性，并与现有模型完全兼容。
• 该库支持所有主流注意力图后端方法——Grad-CAM、Guided Backpropagation、Guided Grad-CAM 和 Grad-CAM++，适用于 2D 和 3D 数据。
• 注意力图在推理过程中自动生成，可通过 `output_dir` 和 `save_maps` 参数将其保存至磁盘。
• 该库能正确识别并排除非卷积层（如全连接层）以生成注意力图，因为这些层无法投影回输入空间。
• 通过 `medcam.Evaluator` 类原生支持注意力图与真实标签掩码的评估，结果可导出至 Excel。
• Grad-CAM++ 生成的注意力图比原始 Grad-CAM 更为精确，尤其在图像中存在多个相同类别实例时表现更优。