[论文解读] Interpreting Interpretations: Organizing Attribution Methods by Criteria

Zifan Wang, PiotrPiotr Mardziel+2 more|arXiv (Cornell University)|Feb 19, 2020

Explainable Artificial Intelligence (XAI)参考文献 29被引用 5

一句话总结

本文提出一种框架，通过将必要性与充分性形式化为定量标准，以解释深度学习归因结果，实现对归因方法的系统性比较。研究发现，没有一种方法在必要性和充分性两方面均表现最优，为研究人员根据可解释性目标（如检测虚假相关性或误报）选择方法提供了原则性依据。

ABSTRACT

Motivated by distinct, though related, criteria, a growing number of attribution methods have been developed tointerprete deep learning. While each relies on the interpretability of the concept of "importance" and our ability to visualize patterns, explanations produced by the methods often differ. As a result, input attribution for vision models fail to provide any level of human understanding of model behaviour. In this work we expand the foundationsof human-understandable concepts with which attributionscan be interpreted beyond "importance" and its visualization; we incorporate the logical concepts of necessity andsufficiency, and the concept of proportionality. We definemetrics to represent these concepts as quantitative aspectsof an attribution. This allows us to compare attributionsproduced by different methods and interpret them in novelways: to what extent does this attribution (or this method)represent the necessity or sufficiency of the highlighted inputs, and to what extent is it proportional? We evaluate our measures on a collection of methods explaining convolutional neural networks (CNN) for image classification. We conclude that some attribution methods are more appropriate for interpretation in terms of necessity while others are in terms of sufficiency, while no method is always the most appropriate in terms of both.

研究动机与目标

• 解决深度学习中归因方法比较缺乏原则性标准的问题。
• 将必要性与充分性的逻辑概念形式化为评估归因的定量度量。
• 使研究人员能够根据其目标是识别必要特征还是充分特征，选择合适的归因方法。
• 证明现有方法在表征必要性与充分性方面存在显著差异，且无方法在两者上均表现普遍最优。
• 提供一种超越视觉显著性的归因解释框架，提升人类对模型行为的理解。

提出的方法

• 提出必要性与充分性作为评估归因的核心逻辑标准，基于输入扰动下模型行为的分析。
• 定义必要性的定量度量（当移除某特征时，输出变化的程度）与充分性的定量度量（当仅保留最高贡献特征时，输出变化的程度）。
• 引入比例性作为排序的改进，要求归因分数与输出变化呈线性关系。
• 将这些度量应用于VGG16模型在图像分类任务上的10种归因方法评估，使用多张输入图像。
• 利用各标准下的优胜方法（必要性、充分性、比例性）解释模型决策，例如识别出对分类至关重要的特征或足以产生输出的特征。
• 证明如Integrated Gradients与SmoothGrad在特定标准上表现优异，但无方法在所有标准上全面领先。

实验结果

研究问题

• RQ1 哪些归因方法最能体现输入特征对模型预测的必要性？
• RQ2 哪些归因方法最能体现输入特征在生成模型输出方面的充分性？
• RQ3 比例性能否作为跨不同方法比较归因结果的可靠度量？
• RQ4 是否存在一种方法在所有标准（必要性、充分性、比例性）上均表现稳定优异？
• RQ5 如何利用必要性与充分性超越视觉显著性来解释模型行为，例如检测虚假相关性？

主要发现

• 没有一种归因方法能同时在必要性与充分性上达到最优，表明两者之间存在根本性权衡。
• Integrated Gradients与SmoothGrad在必要性方面表现优异，表明其能有效识别出移除后显著降低模型置信度的特征。
• LRP在充分性方面表现突出，尤其在α2β1变体中，表明仅保留最高归因分数的特征即可复现模型输出。
• 比例性度量揭示，敏感性-n与完整性不足以捕捉归因与输出变化之间的完整关系。
• 优胜方法依标准而异：例如在某一案例中，狗的身体被视为必要，而头部则被视为充分，凸显了不同方法提供的互补性洞见。
• 该框架使对模型决策的解释更加细致，例如可区分因缺少必要特征导致的假阴性与因存在充分但虚假特征导致的假阳性。