[论文解读] Attribution-based Explanations that Provide Recourse Cannot be Robust

Hidde Fokkema, Rianne de Heide+1 more|arXiv (Cornell University)|May 31, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文证明了一个基本的理论限制：没有任何一种归因方法能同时具备可追溯性（提供可操作的输入更改以改进模型决策）和鲁棒性（在小输入扰动下保持连续）。作者通过用户定义的效用函数形式化了可追溯性，并表明对于许多模型，尤其是在高维或微小变化的场景中，这种权衡是不可避免的，且为 LIME、SHAP、Integrated Gradients 和 SmoothGrad 提供了反例。

ABSTRACT

Different users of machine learning methods require different explanations, depending on their goals. To make machine learning accountable to society, one important goal is to get actionable options for recourse, which allow an affected user to change the decision $f(x)$ of a machine learning system by making limited changes to its input $x$. We formalize this by providing a general definition of recourse sensitivity, which needs to be instantiated with a utility function that describes which changes to the decisions are relevant to the user. This definition applies to local attribution methods, which attribute an importance weight to each input feature. It is often argued that such local attributions should be robust, in the sense that a small change in the input $x$ that is being explained, should not cause a large change in the feature weights. However, we prove formally that it is in general impossible for any single attribution method to be both recourse sensitive and robust at the same time. It follows that there must always exist counterexamples to at least one of these properties. We provide such counterexamples for several popular attribution methods, including LIME, SHAP, Integrated Gradients and SmoothGrad. Our results also cover counterfactual explanations, which may be viewed as attributions that describe a perturbation of $x$. We further discuss possible ways to work around our impossibility result, for instance by allowing the output to consist of sets with multiple attributions, and we provide sufficient conditions for specific classes of continuous functions to be recourse sensitive. Finally, we strengthen our impossibility result for the restricted case where users are only able to change a single attribute of $x$, by providing an exact characterization of the functions $f$ to which impossibility applies.

研究动机与目标

• 形式化机器学习解释中的可追溯性概念，要求归因结果建议可操作的输入更改以改善模型结果。
• 研究归因方法是否能同时满足可追溯性与鲁棒性（即在小输入扰动下保持连续）。
• 识别归因解释中可追溯性与鲁棒性之间的根本理论不相容性。
• 提供在受限场景（如单特征更改）下，可追溯且连续的归因存在的充分条件。
• 将分析扩展至反事实解释，表明其也受相同不可能性结果的约束。

提出的方法

• 通过用户定义的效用函数形式化可追溯性，量化更改输入特征以改善模型决策的收益。
• 将鲁棒性定义为归因函数对输入扰动的连续性，确保小的输入变化不会引起归因结果的剧烈波动。
• 通过可行更改域上的拓扑论证，证明不可能性结果：对于一般模型，不存在同时具备可追溯性与连续性的归因方法。
• 为流行方法（LIME、SHAP、Integrated Gradients、SmoothGrad）构建显式反例，展示其在小输入变化下存在不连续性。
• 当用户仅能一次更改一个特征时，通过可行更改集合与拓扑分离性，对可实现连续可追溯归因的模型进行刻画。
• 通过为每个特征定义集合 $L^i$、$R^i$ 和 $O$，将刻画推广至高维情形，并证明当这些集合满足分离与闭包条件时，连续可追溯归因存在。

实验结果

研究问题

• RQ1 对于给定的机器学习模型，是否存在一种归因方法，使其同时具备可追溯性与鲁棒性（连续性）？
• RQ2 当用户仅能更改一个特征时，连续可追溯归因函数存在的必要与充分条件是什么？
• RQ3 像 LIME、SHAP、Integrated Gradients 和 SmoothGrad 这类常见归因方法，为何在试图提供可追溯性时无法保持鲁棒性？
• RQ4 通过修改解释格式（如使用归因集合而非单个向量）是否可以规避该不可能性结果？
• RQ5 该理论框架在用户可同时更改多个特征的情况下，可扩展到何种程度？

主要发现

• 由于输入空间中的拓扑约束，对于一般模型，任何归因方法都无法同时具备可追溯性与鲁棒性（连续性），这是理论上的不可能。
• 作者构建了显式反例，表明 LIME、SHAP、Integrated Gradients 和 SmoothGrad 等流行方法即使在设计上追求稳定性，也难以保持连续性。
• 当用户仅能一次更改一个特征时，若使特征增加或减少能带来效用增益的输入集合，与彼此以及与已有有益输入集合在拓扑上分离，则存在连续可追溯归因。
• 当效用函数结构与可行更改的几何特性满足特定条件时，连续可追溯归因的存在性可得到保证。
• 即使鲁棒性被弱化为连续性（而非Lipschitz连续性），该不可能性结果依然成立。
• 该框架同样适用于反事实解释，因为反事实解释可被视为通过输入扰动实现的一种归因形式。