[论文解读] Assessing the validity of saliency maps for abnormality localization in medical imaging

Nishanth Arun, Nathan Gaw+6 more|arXiv (Cornell University)|May 29, 2020

Radiomics and Machine Learning in Medical Imaging被引用 17

一句话总结

本研究使用RSNA肺炎数据集评估了用于医学影像异常定位的显著性图方法的有效性。结果表明，GradCAM对模型权重和标签随机化的敏感度最高，表现出更优的鲁棒性和架构无关性能，而其他方法如梯度解释法和SmoothGrad IG则表现出较差的敏感度，表明其在临床解释场景中可能存在不可靠性。

ABSTRACT

Saliency maps have become a widely used method to assess which areas of the input image are most pertinent to the prediction of a trained neural network. However, in the context of medical imaging, there is no study to our knowledge that has examined the efficacy of these techniques and quantified them using overlap with ground truth bounding boxes. In this work, we explored the credibility of the various existing saliency map methods on the RSNA Pneumonia dataset. We found that GradCAM was the most sensitive to model parameter and label randomization, and was highly agnostic to model architecture.

研究动机与目标

• 使用定量指标评估显著性图方法在医学影像异常定位中的有效性。
• 调查流行的显著性技术是否对模型参数和标签随机化敏感，以评估其可靠性。
• 评估显著性图在不同模型架构和训练运行之间的可重复性与可再现性。
• 通过测量与真实边界框的重叠程度，确定哪种显著性方法最准确地定位异常。
• 为基于深度学习的医学图像分析中可解释性工具的可信度提供实证证据。

提出的方法

• 对模型权重和标签应用级联随机化，以测试显著性方法的敏感性。
• 使用Dice分数定量测量显著性图与真实边界框之间的重叠程度。
• 采用Spearman等级相关系数比较随机化前后显著性图的一致性，以评估鲁棒性。
• 通过比较相同架构但独立训练的模型生成的显著性图，开展模型架构内部的可重复性测试。
• 通过比较不同架构（如InceptionV3与DenseNet121）生成的显著性图，进行跨架构的可再现性分析。
• 评估六种显著性方法：梯度解释法、SmoothGrad、集成梯度、GradCAM、XRAI和SmoothGrad-IG。

实验结果

研究问题

• RQ1 在RSNA肺炎数据集中，不同显著性图方法在使用Dice分数与真实边界框对比时，其异常定位性能如何？
• RQ2 显著性方法对模型权重和标签随机化的敏感程度如何，这是否能反映其可靠性？
• RQ3 当使用相同模型架构独立多次训练时，显著性图的可重复性如何？
• RQ4 显著性图在不同深度学习架构之间的可再现性如何？
• RQ5 哪种显著性方法在保持鲁棒性的同时，对模型架构表现出最高的无关性？

主要发现

• GradCAM对模型权重和标签随机化的敏感度最高，在随机化条件下Dice分数显著下降，表明其对模型实际学习过程的响应更灵敏。
• 梯度解释法、SmoothGrad IG和XRAI在模型或标签随机化下未出现显著下降，表明其存在不希望的不变性，可能存在不可靠性。
• GradCAM在不同模型架构之间生成的显著性图最为一致，表现出高度的架构无关性。
• SmoothGrad和SmoothGrad IG在架构内和跨架构的可重复性最低，显著性图输出变异性最高。
• 所有方法的架构内可重复性均较低，即使在相同架构的独立训练模型之间，显著性图也存在显著差异。
• 不同模型生成的显著性图之间Dice分数差异最小的是GradCAM，证实其具有更优的可再现性与一致性。