[论文解读] Assessing the (Un)Trustworthiness of Saliency Maps for Localizing Abnormalities in Medical Imaging

Nishanth Arun, Nathan Gaw+11 more|arXiv (Cornell University)|Aug 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 5被引用 19

一句话总结

本文使用四个标准——定位实用性、对模型权重随机化的敏感性、可重复性与可复现性——评估了八种显著性图方法在医学影像中定位异常的可信度。基于两个公开的放射科数据集，研究发现所有方法均至少在一个标准上表现失败，且其可靠性常低于简单基线方法，提示在临床部署中需保持谨慎，并建议优先采用检测或分割模型。

ABSTRACT

Saliency maps have become a widely used method to make deep learning models more interpretable by providing post-hoc explanations of classifiers through identification of the most pertinent areas of the input medical image. They are increasingly being used in medical imaging to provide clinically plausible explanations for the decisions the neural network makes. However, the utility and robustness of these visualization maps has not yet been rigorously examined in the context of medical imaging. We posit that trustworthiness in this context requires 1) localization utility, 2) sensitivity to model weight randomization, 3) repeatability, and 4) reproducibility. Using the localization information available in two large public radiology datasets, we quantify the performance of eight commonly used saliency map approaches for the above criteria using area under the precision-recall curves (AUPRC) and structural similarity index (SSIM), comparing their performance to various baseline measures. Using our framework to quantify the trustworthiness of saliency maps, we show that all eight saliency map techniques fail at least one of the criteria and are, in most cases, less trustworthy when compared to the baselines. We suggest that their usage in the high-risk domain of medical imaging warrants additional scrutiny and recommend that detection or segmentation models be used if localization is the desired output of the network. Additionally, to promote reproducibility of our findings, we provide the code we used for all tests performed in this work at this link: https://github.com/QTIM-Lab/Assessing-Saliency-Maps.

研究动机与目标

• 评估显著性图在医学影像中用于临床决策支持的可靠性和可信度。
• 确定常用显著性方法是否能可靠地定位放射影像中的异常。
• 基于四个标准评估显著性图：定位实用性、对模型权重随机化的敏感性、可重复性与可复现性。
• 将显著性方法与基线方法进行比较，以确定其在定位性能上是否具有实质性改进。
• 倡导在定位为主要目标时，优先使用检测或分割模型而非显著性图。

提出的方法

• 本研究使用两个包含真实定位标注的大型公开放射科数据集，用于评估。
• 评估了八种广泛使用的显著性图技术，包括 Grad-CAM、Grad-CAM++、Score-CAM 和 Integrated Gradients。
• 通过受试者工作特征曲线下面积（AUPRC）和结构相似性指数（SSIM）量化性能，以衡量与真实标注的一致性。
• 通过测试显著性图对模型权重随机化的敏感性，评估其鲁棒性。
• 通过测量同一输入在多次前向传播中显著性图的一致性，评估其可重复性。
• 通过开源评估框架中使用的所有代码，确保可复现性。

实验结果

研究问题

• RQ1 与真实标注相比，显著性图是否能可靠地定位医学影像中的异常？
• RQ2 在模型权重随机化下，显著性方法的表现如何，反映出其鲁棒性如何？
• RQ3 在相同输入的多次推理中，显著性图的可重复性如何？
• RQ4 在定位准确性方面，显著性方法与简单基线方法相比表现如何？
• RQ5 在医学影像背景下，显著性图是否比其他方法更具可信度？

主要发现

• 所有八种显著性图方法均未能满足四个可信度标准中的至少一个：定位实用性、对权重随机化的敏感性、可重复性或可复现性。
• 显著性图的定位实用性较差，AUPRC得分始终低于基线方法，如类别激活图和随机噪声。
• 显著性图对模型权重随机化不具鲁棒性，表明其无法可靠反映模型行为。
• 各方法的可重复性较低，同一输入在多次运行中生成的显著性图存在显著差异。
• 显著性图与真实标注之间的结构相似性指数（SSIM）始终较低，表明空间对齐性差。
• 作者结论认为，显著性图通常不如简单基线方法可信，建议在定位任务中优先使用检测或分割模型。