[论文解读] Axiomatic Aggregations of Abductive Explanations

Gagan Biradar, Yacine Izza+3 more|arXiv (Cornell University)|Sep 29, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

本文提出了三种公理化聚合方法——责任指数（Responsibility Index）、Deegan-Packel 指数和 Holler-Packel 指数，将多个溯因解释转化为稳健的特征重要性得分。通过结合合作博弈论与因果强度度量，这些方法在满足理想属性方面具有独特性，并在对抗性攻击下识别模型偏差方面优于 LIME 和 SHAP。

ABSTRACT

The recent criticisms of the robustness of post hoc model approximation explanation methods (like LIME and SHAP) have led to the rise of model-precise abductive explanations. For each data point, abductive explanations provide a minimal subset of features that are sufficient to generate the outcome. While theoretically sound and rigorous, abductive explanations suffer from a major issue -- there can be several valid abductive explanations for the same data point. In such cases, providing a single abductive explanation can be insufficient; on the other hand, providing all valid abductive explanations can be incomprehensible due to their size. In this work, we solve this issue by aggregating the many possible abductive explanations into feature importance scores. We propose three aggregation methods: two based on power indices from cooperative game theory and a third based on a well-known measure of causal strength. We characterize these three methods axiomatically, showing that each of them uniquely satisfies a set of desirable properties. We also evaluate them on multiple datasets and show that these explanations are robust to the attacks that fool SHAP and LIME.

研究动机与目标

• 解决溯因解释的局限性，即对单一预测可能产生多个有效但相互冲突的最小特征集。
• 克服 LIME 和 SHAP 等事后解释方法的不足，这些方法易受操纵且无法精确捕捉模型结构。
• 构建一个原则化、公理化的框架，将多个溯因解释聚合为统一、可解释的特征重要性得分。
• 确保聚合方法对操纵 LIME 和 SHAP 解释的对抗性攻击具有鲁棒性，特别是在检测敏感特征影响方面。

提出的方法

• 基于责任程度——一种来自形式因果理论的因果强度度量——提出责任指数。
• 引入源自合作博弈论的 Deegan-Packel 指数与 Holler-Packel 指数，用于量化溯因解释集合中的特征重要性。
• 通过公理化表征形式化每种聚合方法，证明其在一组预设理想属性下的唯一性。
• 在真实世界数据集（Compas 和 German Credit）上应用这些方法，对比其在对抗性攻击下与 LIME 和 SHAP 的性能表现。
• 使用 SAT/SMT 或 MILP 求解器计算每个数据点的溯因解释，再通过所提出的指数进行聚合。
• 根据重要性得分对特征进行排序，并通过敏感属性（如种族、性别）被正确识别为首要贡献者的频率来评估鲁棒性。

实验结果

研究问题

• RQ1 能否系统性地将溯因解释聚合为保持理论严谨性并提升可解释性的特征重要性得分？
• RQ2 所提出的聚合方法是否唯一满足一组理想公理，从而确保解释生成过程的公平性与一致性？
• RQ3 在对抗性攻击下，所提出的方法与 LIME 和 SHAP 相比，在检测模型偏差方面表现如何？
• RQ4 当敏感特征被操纵或与结果相关联时，这些聚合方法在多大程度上保持鲁棒性？
• RQ5 该公理化框架能否推广至溯因解释之外的其他解释类型？

主要发现

• 责任指数、Deegan-Packel 指数与 Holler-Packel 指数各自唯一满足一组不同的公理，确保了理论上的合理性与可解释性。
• 在 Compas 数据集的 LIME 攻击中，使用所提方法时，敏感特征 'Race' 在超过 84% 的测试样本中位列前三名，而当存在两个不相关特征时，LIME 的表现接近 0%。
• 在相同数据集的 SHAP 攻击中，使用所提指数时，敏感特征 'Race' 在至少 86% 的情况下被列为最重要特征，而 SHAP 的对应比例仅为 41.6%。
• 在 German Credit 数据集中，使用所提方法时，敏感特征 'Gender' 在超过 87% 的样本中被正确识别为首要特征，而 SHAP 和 LIME 在任何样本中均未能将其排在高位。
• 当模型存在偏差时，所提方法即使在 LIME 和 SHAP 因易受对抗性操纵而失败的情况下，仍能正确识别敏感特征为最重要特征。
• 这些方法在 LIME 和 SHAP 攻击场景下均表现出鲁棒性，特别是在模型决策受敏感属性影响的情况下。