[论文解读] Do Not Trust Additive Explanations

Alicja Gosiewska, Przemysław Biecek|arXiv (Cornell University)|Mar 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 31被引用 36

一句话总结

本文批评用于表格数据的加性解释方法（LIME、SHAP、Break Down），展示它们在存在交互时可能不一致且具有误导性，并引入 iBreakDown 以在局部解释中捕捉交互、并进行不确定性评估和基准测试。

ABSTRACT

Explainable Artificial Intelligence (XAI)has received a great deal of attention recently. Explainability is being presented as a remedy for the distrust of complex and opaque models. Model agnostic methods such as LIME, SHAP, or Break Down promise instance-level interpretability for any complex machine learning model. But how faithful are these additive explanations? Can we rely on additive explanations for non-additive models? In this paper, we (1) examine the behavior of the most popular instance-level explanations under the presence of interactions, (2) introduce a new method that detects interactions for instance-level explanations, (3) perform a large scale benchmark to see how frequently additive explanations may be misleading.

研究动机与目标

• 说明为何对于复杂的、非加性模型，加性解释可能不可靠。
• 展示特征之间的交互如何影响 LIME、SHAP 和 Break Down 等局部解释的保真度。
• 提出并验证一种方法（iBreakDown）以在实例级解释中检测交互。
• 提供对解释的不确定性评估，并展示在实际中交互的频率。

提出的方法

• 回顾并通过一个类似泰坦尼克号的 toy 示例说明加性解释的问题。
• 定义单步特征贡献和成对交互以量化非加法性。
• 引入 iBreakDown 以捕捉局部交互并生成带交互可视化的非加法解释。
• 建立基于自助法/自放回 bootstrapping 的程序来量化解释的不确定性。
• 在 OpenML 二分类数据集上，对具有不同交互深度的模型基准 iBreakDown。
• 证明 Shapley 值与 Break Down 贡献之间的关系，即作为所有排列的平均值。

实验结果

研究问题

• RQ1 加性解释是否在考虑特征的不同顺序时产生一致的归因？
• RQ2 特征之间的交互如何影响 LIME、SHAP 和 Break Down 等局部解释的保真度？
• RQ3 一种明确建模交互的方法（iBreakDown）是否能提供更可信的解释并量化不确定性？
• RQ4 在真实数据集和随着交互深度增加的模型中，局部交互有多频繁？

主要发现

• 当存在交互时，加性解释可能不一致且不可靠。
• 在加性解释中可以观察到不确定性，表现为不同特征顺序之间的变异性。
• 所提出的 iBreakDown 方法捕捉局部交互并能够产生带有交互的非加性解释，可在瀑布图中可视化。
• 在 OpenML 数据的基准测试中，具有更高交互深度的模型检测到的局部交互更多，表明交互普遍存在且与模型相关。
• iBreakDown 解释与 Shapley 值作为所有顺序的平均值对齐，将新方法与既有归因概念联系起来。
• 作者提供了 iBreakDown 的 R 和 Python 实现。