[论文解读] Challenging common interpretability assumptions in feature attribution explanations

Jonathan Dinu, Jeffrey P. Bigham+1 more|arXiv (Cornell University)|Dec 4, 2020

Explainable Artificial Intelligence (XAI)参考文献 61被引用 5

一句话总结

本文挑战了机器学习中特征归因解释的三个普遍假设：更简单的模型更具可解释性、模型无关的解释普遍有效，以及任何解释都能改善决策。通过在 Amazon Mechanical Turk 上进行的大规模人类受试者实验，作者发现特征归因解释带来的收益微乎其微，甚至可能因认知和情境干扰因素而损害决策，从而削弱了此类解释在人机协同系统中普遍价值的假设。

ABSTRACT

As machine learning and algorithmic decision making systems are increasingly being leveraged in high-stakes human-in-the-loop settings, there is a pressing need to understand the rationale of their predictions. Researchers have responded to this need with explainable AI (XAI), but often proclaim interpretability axiomatically without evaluation. When these systems are evaluated, they are often tested through offline simulations with proxy metrics of interpretability (such as model complexity). We empirically evaluate the veracity of three common interpretability assumptions through a large scale human-subjects experiment with a simple "placebo explanation" control. We find that feature attribution explanations provide marginal utility in our task for a human decision maker and in certain cases result in worse decisions due to cognitive and contextual confounders. This result challenges the assumed universal benefit of applying these methods and we hope this work will underscore the importance of human evaluation in XAI research. Supplemental materials -- including anonymized data from the experiment, code to replicate the study, an interactive demo of the experiment, and the models used in the analysis -- can be found at: https://doi.pizza/challenging-xai.

研究动机与目标

• 通过实证方法评估后 hoc 特征归因解释中三个常见可解释性假设的有效性。
• 评估在高风险、类现实世界情境下，特征归因解释是否能改善人类决策。
• 调查在不同数据稀疏性水平和用户群体中，模型无关解释是否普遍有益。
• 挑战在 XAI 研究中使用模型复杂度等代理指标作为可解释性替代指标的做法。
• 强调在代理验证存在局限性的情况下，以人为本的评估在 XAI 中的重要性。

提出的方法

• 在 Amazon Mechanical Turk 上开展了一项混合被试间/被试内重复测量实验，共招募 300 名参与者。
• 采用房屋价格估价任务，参与者根据特征重要性的排序比较两个模型。
• 设置安慰剂解释对照条件，以隔离实际解释的影响。
• 应用贝叶斯分层建模估计个体能力与项目难度参数，捕捉个体差异和数据实例的变异性。
• 评估四种解释方法：LIME、SHAP、Ridge 和安慰剂对照，在两种数据稀疏性条件下。
• 使用统计建模方法检验解释类型、特征数量和数据稀疏性对决策准确率的影响。

实验结果

研究问题

• RQ1 与无解释相比，提供特征归因解释是否能提高人类决策的准确性？
• RQ2 在人机协同的模型选择中，使用模型无关解释是否相比安慰剂或无解释具有可测量的优势？
• RQ3 数据稀疏性如何影响不同解释方法在支持人类决策方面的有效性？
• RQ4 解释中特征数量的多少是否影响用户辨别性能更优模型的能力？
• RQ5 个体差异和项目层面的变异性在多大程度上影响解释的感知效用？

主要发现

• 与安慰剂对照相比，特征归因解释在决策准确率上的提升微乎其微，且无统计学显著优势。
• 在某些条件下，特别是在稀疏数据集上，特征归因解释导致的决策结果甚至劣于无解释，表明可能存在认知干扰。
• 特征数量对用户识别性能更优模型的能力无显著影响（β = 0.02，95% 置信区间 = [-0.03, 0.06]）。
• 解释方法的有效性在数据稀疏性下出现反转：在稀疏数据中，SHAP 表现优于 Ridge；而 Ridge 的表现低于预期。
• 项目难度（易用性）参数的方差高于个体能力参数，表明解释效用存在强烈项目特异性干扰。
• 研究发现用户表现和项目难度均存在显著异质性，挑战了用户和数据实例间可解释性一致的假设。