[论文解读] A Simple Saliency Method That Passes the Sanity Checks

Arushi Gupta, Sanjeev Arora|arXiv (Cornell University)|May 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 11被引用 5

一句话总结

本文提出了一种简单但有效的改进方法——像素竞争（competition for pixels），通过引入所有类别logits的梯度（而不仅仅是预测类别），而非仅依赖预测类别，从而增强现有显著性方法的有效性。该方法以竞争梯度×输入（Competitive Gradient × Input, CGI）的形式实现，在通过标准 sanity 检查（参数与数据随机化）的同时，保持了有意义的显著性图，为归因方法提供了一种无需训练、鲁棒性强的修复方案。

ABSTRACT

There is great interest in "saliency methods" (also called "attribution methods"), which give "explanations" for a deep net's decision, by assigning a "score" to each feature/pixel in the input. Their design usually involves credit-assignment via the gradient of the output with respect to input. Recently Adebayo et al. [arXiv:1810.03292] questioned the validity of many of these methods since they do not pass simple *sanity checks* which test whether the scores shift/vanish when layers of the trained net are randomized, or when the net is retrained using random labels for inputs. We propose a simple fix to existing saliency methods that helps them pass sanity checks, which we call "competition for pixels". This involves computing saliency maps for all possible labels in the classification task, and using a simple competition among them to identify and remove less relevant pixels from the map. The simplest variant of this is "Competitive Gradient $\odot$ Input (CGI)": it is efficient, requires no additional training, and uses only the input and gradient. Some theoretical justification is provided for it (especially for ReLU networks) and its performance is empirically demonstrated.

研究动机与目标

• 解决许多显著性方法在基本 sanity 检查中表现不佳的关键问题，例如在模型权重或标签被随机化时仍保持稳定。
• 提出对现有显著性方法的最小化、无需训练的修改，以提升其可靠性和可解释性。
• 证明引入所有输出类别（而不仅仅是预测类别）的梯度，可生成更鲁棒且更有意义的归因图。
• 验证所提方法在通过严格 sanity 测试的同时，仍能保持与原始显著性图一致的视觉保真度。

提出的方法

• 核心思想是使用每个类别logit相对于输入的梯度，为所有可能的输出类别计算显著性图。
• 对于每个像素，所有类别的得分被视为一种‘投票’，用于确定其对预测类别的相关性。
• 如果某像素在预测类别上的得分低于其在任何其他类别上的得分，则将其置零，从而实现竞争性选择机制。
• 该方法被形式化为竞争梯度×输入（CGI），定义为输入与预测类别logit梯度的逐元素乘积，并通过竞争机制进行后处理。
• 该方法被应用于两种领先方法：梯度×输入（Gradient × Input）和层归因传播（Layerwise Relevance Propagation, LRP），分别生成 CGI 和 CLRP 变体。
• 无需额外训练；该方法高效且与现有的深度学习推理流水线兼容。

实验结果

研究问题

• RQ1 对现有显著性方法进行简单、无需训练的修改，是否能提升其对模型参数和数据随机化的鲁棒性？
• RQ2 与仅使用预测类别梯度相比，引入所有类别logits的梯度是否能生成更可靠的归因图？
• RQ3 类别得分之间的竞争机制能否消除在 sanity 检查下仍持续存在的虚假显著性模式？
• RQ4 所提方法是否在通过严格 sanity 测试的同时，保持了原始显著性图的可解释性和视觉质量？
• RQ5 与使用 softmax 梯度而非 logits 的替代策略相比，该竞争机制是否更有效？

主要发现

• CGI 通过了模型参数随机化和数据标签随机化两项 sanity 检查，而标准的梯度×输入方法在模型被随机化后仍产生相似的显著性图，表明其不可靠。
• 在参数随机化测试中，当任意层被随机化时，CGI 产生近乎空白的显著性图，表明其能正确检测到模型结构的丧失。
• 在级联随机化实验中，CGI 随着层被随机化而逐步失去显著性结构，而标准梯度×输入方法仍保留如鸟轮廓等可见特征。
• 在 MNIST 数据集上使用随机排列的标签时，CGI 消除了数字‘3’的可见结构，而标准梯度×输入方法仍显示该数字的形状，证实其对受损训练数据的敏感性。
• CLRP（LRP 的竞争变体）在随机化下同样减少了显著性结构，证明该方法在梯度×输入之外也具有良好的泛化能力。
• 竞争机制在不降低干净数据上视觉质量的前提下提升了鲁棒性，表明其能有效过滤虚假特征，同时保留有意义的特征。