[论文解读] Investigating Saturation Effects in Integrated Gradients

Vivek Miglani, Narine Kokhlikyan+3 more|arXiv (Cornell University)|Oct 23, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用 4

一句话总结

本文指出，在积分梯度（IG）路径的饱和区域中，梯度对归因的贡献远超其对模型输出变化的贡献。为此，本文提出分割积分梯度（Split Integrated Gradients），将积分限制在输出变化显著的非饱和区域，与标准IG相比，该方法在ImageNet模型上实现了更高的模型忠实度和更低的噪声敏感性。

ABSTRACT

Integrated Gradients has become a popular method for post-hoc model interpretability. De-spite its popularity, the composition and relative impact of different regions of the integral path are not well understood. We explore these effects and find that gradients in saturated regions of this path, where model output changes minimally, contribute disproportionately to the computed attribution. We propose a variant of IntegratedGradients which primarily captures gradients in unsaturated regions and evaluate this method on ImageNet classification networks. We find that this attribution technique shows higher model faithfulness and lower sensitivity to noise com-pared with standard Integrated Gradients. A note-book illustrating our computations and results is available at https://github.com/vivekmig/captum-1/tree/ExpandedIG.

研究动机与目标

• 探究IG积分路径中饱和区域与非饱和区域梯度的贡献差异。
• 评估标准积分梯度中饱和区域梯度是否扭曲了归因质量。
• 开发一种聚焦于非饱和区域的IG变体，以提升忠实度与鲁棒性。
• 为用户提供评估饱和状态及解释IG结果的实用指导。

提出的方法

• 该方法提出分割积分梯度，将积分路径限制在模型输出尚未饱和的区域。
• 通过输出范围变化的百分比ψ（例如90%）确定阈值α*。
• 仅在α ∈ [0, α*]范围内计算积分，排除输出变化微小的饱和区域。
• 完整性属性近似保持，因为大部分输出变化发生在α*之前。
• 通过可视化沿α方向的模型输出与梯度幅值，检测饱和状态并指导路径选择。
• 在ImageNet模型上，定性与定量比较标准IG与分割IG的归因结果。

实验结果

研究问题

• RQ1 IG路径中饱和区域的梯度在最终归因中贡献有多大？
• RQ2 排除饱和区域梯度后，归因结果的忠实度与鲁棒性如何变化？
• RQ3 一种排除饱和区域的修改后IG路径能否产生更可靠、更可解释的归因？
• RQ4 基线选择与模型架构如何影响IG中的饱和效应？

主要发现

• IG路径中饱和区域的梯度对最终归因的贡献远超其对模型输出变化的贡献。
• 分割积分梯度通过将积分限制在非饱和区域，相比标准IG，产生了更高的模型忠实度。
• 分割IG的归因结果对小输入扰动的敏感性显著低于标准IG。
• 该方法通过在饱和前捕获大部分输出变化，保持了近似完整性。
• 沿α方向可视化输出与梯度路径有助于识别饱和状态，并指导更优的归因解释。
• 本研究建议用户检查输出路径，并比较饱和与非饱和区域的归因结果，以评估归因质量。