[论文解读] Delivering Inflated Explanations

Yacine Izza, Alexey Ignatiev+2 more|arXiv (Cornell University)|Jun 27, 2023

Explainable Artificial Intelligence (XAI)Computer Science参考文献 43被引用 3

一句话总结

本文提出膨胀解释——一种形式化且严谨的方法，通过将特征值替换为保持模型决策不变的最大值集合（如区间或分组），来扩展可解释人工智能中的溯因与对比解释。该方法利用基于SAT的编码和基数约束，高效计算这些扩展解释，展示了良好的实际可扩展性，并在性能开销极小的情况下提升了可解释性。

ABSTRACT

In the quest for Explainable Artificial Intelligence (XAI) one of the questions that frequently arises given a decision made by an AI system is, ``why was the decision made in this way?'' Formal approaches to explainability build a formal model of the AI system and use this to reason about the properties of the system. Given a set of feature values for an instance to be explained, and a resulting decision, a formal abductive explanation is a set of features, such that if they take the given value will always lead to the same decision. This explanation is useful, it shows that only some features were used in making the final decision. But it is narrow, it only shows that if the selected features take their given values the decision is unchanged. It's possible that some features may change values and still lead to the same decision. In this paper we formally define inflated explanations which is a set of features, and for each feature of set of values (always including the value of the instance being explained), such that the decision will remain unchanged. Inflated explanations are more informative than abductive explanations since e.g they allow us to see if the exact value of a feature is important, or it could be any nearby value. Overall they allow us to better understand the role of each feature in the decision. We show that we can compute inflated explanations for not that much greater cost than abductive explanations, and that we can extend duality results for abductive explanations also to inflated explanations.

研究动机与目标

• 为解决标准溯因解释可解释性有限的问题，其将特征固定为精确值，无法揭示对值变化的容差性。
• 形式化并计算膨胀解释——即保持模型预测不变的最大特征值集合，从而提升人类对特征重要性与鲁棒性的理解。
• 将标准溯因解释的对偶性结果扩展至膨胀解释，建立膨胀溯因解释与对比解释之间的最小击中集对偶性。
• 证明膨胀解释可在实际中高效计算，即使在大型随机森林模型和真实世界数据集上亦成立。

提出的方法

• 将膨胀溯因解释形式化为每个特征的最大集合 $\mathbb{E}_i$，使得若 $x_i \in \mathbb{E}_i$，则预测保持不变。
• 开发基于SAT的算法以计算膨胀解释，利用CNF编码和通过PySAT与Glucose3实现的增量SAT求解。
• 为分类与有序特征设计独立算法：对分类特征，计算最大类别子集；对有序特征，计算最大连续值区间。
• 采用两步流程：首先计算标准溯因解释（AXp），然后将每个文字 $x_i = v_i$ 扩展为保持充分性条件的最大 $\mathbb{E}_i$。
• 提出两种膨胀对比解释的定义，并证明膨胀溯因解释与对比解释之间存在最小击中集对偶性。
• 使用SAT编码实现随机森林的原型系统，支持AXp计算与膨胀功能。

实验结果

研究问题

• RQ1 能否有意义地将溯因解释从精确特征值扩展至保留预测结果的值范围或集合？
• RQ2 如何在保持正确性与最小性形式保证的前提下，高效计算膨胀解释？
• RQ3 已知于标准溯因与对比解释之间的最小击中集对偶性，是否可推广至膨胀解释？
• RQ4 膨胀解释在在多大程度上通过揭示特征容差性（如特征值变化是否不影响结果）来提升可解释性？
• RQ5 该膨胀过程在真实世界数据集与大型随机森林模型上的可扩展性如何？

主要发现

• 该方法成功对38个数据集中的35个进行了膨胀解释，其中20个数据集的每个特征平均扩展了100至720个值，13个数据集扩展了13至99个值。
• 计算单个膨胀溯因解释的平均耗时为7.11秒，最长144.48秒，最短0.02秒，表明具有出色的实用可扩展性。
• 在大多数数据集中，膨胀过程使特征扩展至接近其完整取值域，部分特征几乎达到原始域大小。
• 原型系统表明，即使在包含最多64个特征和5,000多个样本的大型随机森林模型上，膨胀解释仍可高效计算。
• 理论对偶性结果得到验证：膨胀溯因解释与对比解释之间存在最小击中集对偶性，证实了形式化框架的稳健性。
• 该方法有效揭示了特征的鲁棒性——例如，显示患者身高在1.75米至1.84米之间即可满足决策条件，而无需精确值。