[论文解读] BASED-XAI: Breaking Ablation Studies Down for Explainable Artificial Intelligence

Isha Hameed, Samuel Sharpe+6 more|arXiv (Cornell University)|Jul 12, 2022

Explainable Artificial Intelligence (XAI)被引用 11

一句话总结

本文提出了一套严格的框架，用于表格数据可解释人工智能（XAI）中的消融研究，强调了恰当的扰动选择、类别特征处理以及防止得出误导性结论的约束条件。研究表明，简单的扰动可能扭曲消融曲线，而将独热编码的类别特征重新聚合为原始形式可提高XAI评估的有效性和可解释性。

ABSTRACT

Explainable artificial intelligence (XAI) methods lack ground truth. In its place, method developers have relied on axioms to determine desirable properties for their explanations' behavior. For high stakes uses of machine learning that require explainability, it is not sufficient to rely on axioms as the implementation, or its usage, can fail to live up to the ideal. As a result, there exists active research on validating the performance of XAI methods. The need for validation is especially magnified in domains with a reliance on XAI. A procedure frequently used to assess their utility, and to some extent their fidelity, is an ablation study. By perturbing the input variables in rank order of importance, the goal is to assess the sensitivity of the model's performance. Perturbing important variables should correlate with larger decreases in measures of model capability than perturbing less important features. While the intent is clear, the actual implementation details have not been studied rigorously for tabular data. Using five datasets, three XAI methods, four baselines, and three perturbations, we aim to show 1) how varying perturbations and adding simple guardrails can help to avoid potentially flawed conclusions, 2) how treatment of categorical variables is an important consideration in both post-hoc explainability and ablation studies, and 3) how to identify useful baselines for XAI methods and viable perturbations for ablation studies.

研究动机与目标

• 解决XAI评估中缺乏真实标签的问题，以及因设计不当的消融研究导致的错误结论风险。
• 探究当扰动方法与基线分布未正确对齐时，如何干扰XAI评估。
• 强调类别特征处理（尤其是使用标签编码而非独热编码表示）对消融研究有效性的重要影响。
• 提出实用的约束条件，作为合理性检查，以防止对消融曲线的误导性解读。
• 指导研究人员在表格机器学习中选择合适的基线和扰动，以实现稳健的XAI验证。

提出的方法

• 作者在五个表格数据集上使用三种XAI方法（Deep SHAP、Integrated Gradients、KernelSHAP）和四种基线分布开展消融研究。
• 评估三种扰动策略：随机、恒定中位数和最大距离，比较其对消融曲线形状和可解释性的影响。
• 对类别特征分别采用独热编码和标签编码形式处理，以评估其对特征排序和扰动有效性的影响。
• 该研究提出了三项约束条件：（1）垂直约束条件，将消融范围限制在训练数据样本内；（2）水平约束条件，评估完全消融时的模型性能；（3）随机特征约束条件，用于检测虚假的归因模式。
• 该框架比较了局部与全局解释，表明全局消融曲线虽更平滑，但在应用约束条件后与局部曲线保持一致。
• 作者使用模型性能（如准确率、AUC）作为度量指标，评估特征扰动对模型的影响，跟踪消融步骤中性能的变化。

实验结果

研究问题

• RQ1 不同的扰动方法如何影响XAI评估中消融曲线的形状和可解释性？
• RQ2 类别特征的表示形式（独热编码 vs. 标签编码）在多大程度上影响消融研究的结果？
• RQ3 约束条件能否有效识别并排除导致XAI评估失真的分布外扰动？
• RQ4 局部与全局解释在消融曲线行为上如何比较？聚合是否提升了稳健性？
• RQ5 在相同的扰动和基线条件下，不同XAI方法（如基于梯度的方法与基于核的方法）表现如何？

主要发现

• 将输入扰动至训练数据分布之外的扰动（如最大距离方法）可能导致性能急剧下降，即使解释质量很高，也可能导致错误解读。
• 使用独热编码的类别特征进行扰动会导致稀疏性，并引发误导性的特征重要性排序；而将它们重新聚合为标签编码形式可显著提升消融研究的有效性。
• 垂直约束条件能有效将消融范围限制在样本内输入中，压缩相关区域，尤其在高维数据集中显著提升了可解释性。
• 由全局解释生成的消融曲线比局部曲线更平滑且向左移动，但当应用约束条件后，两类曲线表现出相似的趋势。
• 在Adult和HAR数据集中，KernelSHAP与基于梯度的方法（Deep SHAP、Integrated Gradients）表现出显著差异，可能源于高维设置下基线样本数量不足。
• 扰动和基线的选择对消融曲线形状的影响程度甚至超过XAI方法本身的影响，凸显了精心设计的必要性。