[论文解读] iGOS++: Integrated Gradient Optimized Saliency by Bilateral Perturbations

Saeed Khorram, Tyler Lawson+1 more|arXiv (Cornell University)|Dec 31, 2020

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

iGOS++ 引入了一种新颖的显著性方法，通过同时优化删除掩码和插入掩码，提升深度学习解释中的定位保真度。通过引入双边总变差正则化，该方法生成更平滑、更具可解释性的热图，尤其在高分辨率下表现优异，并揭示了隐藏的数据偏差——例如在医学X光片中过度拟合文本信息——从而在可解释人工智能中实现显著的性能提升。

ABSTRACT

The black-box nature of the deep networks makes the explanation for "why" they make certain predictions extremely challenging. Saliency maps are one of the most widely-used local explanation tools to alleviate this problem. One of the primary approaches for generating saliency maps is by optimizing a mask over the input dimensions so that the output of the network is influenced the most by the masking. However, prior work only studies such influence by removing evidence from the input. In this paper, we present iGOS++, a framework to generate saliency maps that are optimized for altering the output of the black-box system by either removing or preserving only a small fraction of the input. Additionally, we propose to add a bilateral total variation term to the optimization that improves the continuity of the saliency map especially under high resolution and with thin object parts. The evaluation results from comparing iGOS++ against state-of-the-art saliency map methods show significant improvement in locating salient regions that are directly interpretable by humans. We utilized iGOS++ in the task of classifying COVID-19 cases from x-ray images and discovered that sometimes the CNN network is overfitted to the characters printed on the x-ray images when performing classification. Fixing this issue by data cleansing significantly improved the precision and recall of the classifier.

研究动机与目标

• 解决现有显著性方法仅关注移除证据所带来的局限性，避免产生碎片化和非连续的掩码。
• 通过引入双边总变差正则化项，提升高分辨率下显著性图的质量，增强平滑性和连续性。
• 通过同时优化删除和插入掩码的影响，实现更忠实且人类可解释的解释。
• 检测并诊断深度学习模型中的隐藏数据偏差，特别是在医学影像流程中，因虚假相关性（如X光片中的文字）可能导致分类器误导。
• 在自然图像和真实世界医学数据上验证该方法，证明其在调试和提升模型可靠性方面的实用性。

提出的方法

• iGOS++ 优化两个独立的掩码：一个用于删除输入特征的删除掩码，以及一个仅保留最显著特征的插入掩码。
• 该方法使用双目标损失函数，当应用删除掩码时最小化网络的预测置信度，当应用插入掩码时则最大化置信度。
• 引入一种新颖的双边总变差（BTV）正则化项，通过利用图像颜色相似性和边缘感知平滑，强制显著性图具备空间平滑性。
• BTV项通过基于颜色和空间接近度的加权平均像素差值计算，减少高分辨率下热图的扩散。
• 最终的显著性图由两个掩码的联合优化推导得出，确保最相关信息区域被突出显示且无碎片化。
• 该框架端到端应用于深度网络，通过优化过程反向传播梯度，生成高分辨率、连续的热图。

实验结果

研究问题

• RQ1 联合优化输入特征的删除与插入是否能产生比仅考虑删除的方法更准确、更连续的显著性图？
• RQ2 引入双边总变差正则化项是否能显著提升显著性图的平滑性和可解释性，尤其是在高分辨率下？
• RQ3 iGOS++ 是否能够检测并揭示深度学习模型中的隐藏数据偏差，例如对医学图像中非临床伪影（如文字）的过拟合？
• RQ4 在定位准确性和跨不同图像分辨率的鲁棒性方面，iGOS++ 与最先进显著性方法相比表现如何？
• RQ5 iGOS++ 在揭示真实世界医学影像数据集中虚假相关性方面，能在多大程度上提升模型可靠性？

主要发现

• 在仅使用由插入掩码识别出的6%最显著像素的情况下，iGOS++ 在一只虎甲虫图像上实现了99.2%的分类置信度，证明其在特征保留和定位方面具有卓越性能。
• 该方法在高分辨率下显著优于先前的I-GOS等方法，表现出更少碎片化、更连贯的显著性图。
• 在医学影像案例研究中，iGOS++ 揭示了分类器因过度拟合X光片上的文字字符（如字母'R'）而触发错误的COVID-19预测。
• 从训练数据中移除含文字的区域后，分类器的精确率和召回率均显著提升，证实模型曾学习到虚假相关性。
• 双边总变差项有效减少了热图扩散，尤其在细长结构（如甲虫腿）区域提升了平滑性。
• iGOS++ 的仅插入可视化能力能够检测到传统显著性方法无法发现的关键模型错误，证明其在模型调试中的价值。