[论文解读] HiResCAM: Faithful Location Representation in Visual Attention for Explainable 3D Medical Image Classification

Rachel Lea Draelos, Lawrence Carin|arXiv (Cornell University)|Nov 17, 2020

Radiomics and Machine Learning in Medical Imaging被引用 36

一句话总结

HiResCAM 是一种新型的、针对标签的注意力机制，可确保 3D CNN 在医学影像多标签分类中对所用特征实现忠实定位，克服了 Grad-CAM 的梯度平均缺陷。其在 RAD-ChestCT 数据集上实现了弱监督器官定位性能 37% 的提升，创下新的最先进水平。

ABSTRACT

Understanding model predictions is critical in healthcare, to facilitate rapid verification of model correctness and to guard against the use of models that exploit confounding variables. Here we address the challenging new task of explainable multilabel classification of volumetric medical images. We first illustrate a previously unrecognized limitation of the popular model explanation method Grad-CAM: as a side effect of the gradient averaging step, Grad-CAM sometimes highlights the wrong location. To solve this problem, we propose HiResCAM, a novel label-specific attention mechanism that is provably guaranteed to highlight only the locations the model used to make each prediction. Next, we introduce a mask loss that leverages HiResCAM to encourage the model to predict abnormalities based only on the organs in which those abnormalities appear. Our innovations produce a 37% improvement in weakly supervised organ localization of multiple abnormalities in the RAD-ChestCT data set of 36,316 CT volumes, resulting in state-of-the-art performance. We also demonstrate on PASCAL VOC 2012 the different properties of HiResCAM and Grad-CAM on natural images. Overall, this work advances convolutional neural network explanation approaches and the clinical applicability of multiple abnormality modeling in volumetric medical images.

研究动机与目标

• 解决 Grad-CAM 在 3D 医学图像中因梯度平均而导致相关特征定位不可靠的问题。
• 开发一种方法，确保注意力图仅反映每个标签的真实决策相关区域。
• 改进体素 CT 扫描中多种异常的弱监督定位性能。
• 通过确保解释的忠实性和可解释性，增强临床对深度学习模型的信任。
• 为 3D 医学影像中的可解释多标签分类建立新的基准。

提出的方法

• 提出 HiResCAM，一种针对标签的注意力机制，按类别分别计算梯度，并直接将梯度应用于特征图，避免跨类别平均。
• 引入一种掩码损失，促使模型仅关注包含预测异常的器官，从而提高定位保真度。
• 端到端训练模型并引入掩码损失，以在每个标签下强制关注相关解剖区域。
• 采用基于梯度的显著性方法，保留空间分辨率，避免因平均导致显著特征被抑制。
• 将该方法应用于 3D 体素 CT 数据，并在医学和自然图像基准上进行评估。
• 在 RAD-ChestCT 和 PASCAL VOC 2012 上验证该方法，与 Grad-CAM 进行比较，评估泛化能力。

实验结果

研究问题

• RQ1 Grad-CAM 是否因 3D 医学图像中梯度平均而导致产生误导性的注意力图？
• RQ2 针对标签的注意力机制能否确保在多标签 3D 分类中对决策相关区域实现忠实定位？
• RQ3 引入一种约束注意力仅作用于器官特定区域的掩码损失，能否提升弱监督定位性能？
• RQ4 在自然图像和医学图像上，HiResCAM 与 Grad-CAM 相比，其定位准确性和保真度如何？
• RQ5 所提出的方法能否在多种异常的弱监督器官定位中达到最先进性能？

主要发现

• HiResCAM 有效消除了 Grad-CAM 因梯度平均导致的误导性定位伪影。
• 该方法在包含 36,316 个体素 CT 扫描的 RAD-ChestCT 数据集上，实现了弱监督器官定位性能 37% 的相对提升。
• 与 Grad-CAM 相比，HiResCAM 生成的注意力图更具保真度和局部化特征，尤其在复杂的 3D 医学体数据中表现更优。
• 掩码损失有效促使模型仅关注包含预测异常的器官，从而提升定位保真度。
• 在 PASCAL VOC 2012 上，HiResCAM 展现出与 Grad-CAM 不同且更准确的定位行为，证实其在特征归因方面的优越性。
• 该方法在可解释的多标签分类体素医学图像中创下新的最先进水平。