[论文解读] Respond-CAM: Analyzing Deep Models for 3D Imaging Data by Visualizations

Guannan Zhao, Bo Zhou+3 more|arXiv (Cornell University)|May 31, 2018

Cell Image Analysis Techniques参考文献 9被引用 6

一句话总结

该论文提出Respond-CAM，一种新型基于梯度的可视化方法，用于解释生物医学成像中3D卷积神经网络（CNNs）的推理过程。通过结合梯度值与激活值对特征图进行加权，Respond-CAM生成的类别判别性热图比Grad-CAM更准确、更一致，尤其在3D细胞电子冷冻断层扫描（CECT）数据上表现显著提升，其‘总和-得分’一致性特性经L1误差与Kendall’s Tau指标验证后得到显著改善。

ABSTRACT

The convolutional neural network (CNN) has become a powerful tool for various biomedical image analysis tasks, but there is a lack of visual explanation for the machinery of CNNs. In this paper, we present a novel algorithm, Respond-weighted Class Activation Mapping (Respond-CAM), for making CNN-based models interpretable by visualizing input regions that are important for predictions, especially for biomedical 3D imaging data inputs. Our method uses the gradients of any target concept (e.g. the score of target class) that flows into a convolutional layer. The weighted feature maps are combined to produce a heatmap that highlights the important regions in the image for predicting the target concept. We prove a preferable sum-to-score property of the Respond-CAM and verify its significant improvement on 3D images from the current state-of-the-art approach. Our tests on Cellular Electron Cryo-Tomography 3D images show that Respond-CAM achieves superior performance on visualizing the CNNs with 3D biomedical images inputs, and is able to get reasonably good results on visualizing the CNNs with natural image inputs. The Respond-CAM is an efficient and reliable approach for visualizing the CNN machinery, and is applicable to a wide variety of CNN model families and image analysis tasks.

研究动机与目标

• 为解决在生物医学图像分析中使用的3D CNN缺乏视觉可解释性的问题，特别是针对CECT等3D成像数据。
• 开发一种可视化方法，更真实地反映输入区域对模型预测的贡献程度。
• 改进现有方法（如Grad-CAM）的局限性，后者存在梯度噪声大、与模型输出一致性差的问题。
• 在真实世界3D生物医学数据集上验证该方法，证明其在多种网络架构上的可靠性与泛化能力。

提出的方法

• Respond-CAM计算目标类别得分相对于卷积层中特征图的梯度。
• 引入一种结合梯度值与激活幅值的加权组合方法，生成更鲁棒的热图。
• 通过可学习或自适应机制实现通道加权，突出显示信息量丰富的区域。
• 最终热图通过加权特征图的求和生成，形成空间注意力图，突出显示具有判别性的输入区域。
• 该方法兼容任意CNN架构，可应用于分类、分割和回归任务。
• 设计高效，可轻松集成到现有的3D成像深度学习流程中。

实验结果

研究问题

• RQ1 如何提升3D生物医学成像中CNN预测与其视觉解释之间的一致性？
• RQ2 同时结合梯度与激活幅值信息，是否能生成比仅使用梯度的方法更可靠、更具可解释性的可视化结果？
• RQ3 Respond-CAM在3D成像数据上是否能在‘总和-得分’属性方面超越当前最先进的Grad-CAM方法？
• RQ4 Respond-CAM在不同CNN架构及3D成像模态（如CECT）下是否具备鲁棒性与有效性？

主要发现

• Respond-CAM在CNN-1上的平均L1误差为0.601 ± 0.187，在CNN-2上为0.770 ± 0.366，显著低于Grad-CAM的15.344 ± 7.789与8.117 ± 3.854，表明其与模型输出的一致性更优。
• Respond-CAM在CNN-1上获得Kendall’s Tau (KT) 为0.981 ± 0.014，在CNN-2上为0.976 ± 0.018，而Grad-CAM分别为0.273 ± 0.350与0.822 ± 0.097，显示其与模型置信度排序高度一致。
• 使用Respond-CAM生成的可视化结果能清晰突出CECT 3D图像中的生物相关结构，定位更准确，且噪声更少，优于Grad-CAM。
• 该方法在不同网络架构（CNN-1与CNN-2）上均表现一致，即使在信噪比低的噪声输入下也保持有效。
• Respond-CAM在自然3D图像上也保持优异性能，表明其泛化能力不仅限于生物医学成像。
• 理论分析证实Respond-CAM满足‘总和-得分’属性，确保热图总和与预测类别得分高度匹配。