[论文解读] How can I choose an explainer? An Application-grounded Evaluation of Post-hoc Explanations

Sergio Jesús, Catarina Belém+5 more|arXiv (Cornell University)|Jan 21, 2021

Explainable Artificial Intelligence (XAI)参考文献 43被引用 21

一句话总结

本文提出 XAI Test，一种基于应用的评估框架，旨在隔离后训练解释对现实世界机器学习任务中人类决策的影响。在针对反欺诈分析师的受控用户研究中，发现 LIME、SHAP 和 TreeInterpreter 的解释相较于仅使用模型得分可提升准确率，但与仅使用数据的决策相比仍表现欠佳，表明解释复杂性与决策有效性之间存在权衡。

ABSTRACT

There have been several research works proposing new Explainable AI (XAI) methods designed to generate model explanations having specific properties, or desiderata, such as fidelity, robustness, or human-interpretability. However, explanations are seldom evaluated based on their true practical impact on decision-making tasks. Without that assessment, explanations might be chosen that, in fact, hurt the overall performance of the combined system of ML model + end-users. This study aims to bridge this gap by proposing XAI Test, an application-grounded evaluation methodology tailored to isolate the impact of providing the end-user with different levels of information. We conducted an experiment following XAI Test to evaluate three popular post-hoc explanation methods -- LIME, SHAP, and TreeInterpreter -- on a real-world fraud detection task, with real data, a deployed ML model, and fraud analysts. During the experiment, we gradually increased the information provided to the fraud analysts in three stages: Data Only, i.e., just transaction data without access to model score nor explanations, Data + ML Model Score, and Data + ML Model Score + Explanations. Using strong statistical analysis, we show that, in general, these popular explainers have a worse impact than desired. Some of the conclusion highlights include: i) showing Data Only results in the highest decision accuracy and the slowest decision time among all variants tested, ii) all the explainers improve accuracy over the Data + ML Model Score variant but still result in lower accuracy when compared with Data Only; iii) LIME was the least preferred by users, probably due to its substantially lower variability of explanations from case to case.

研究动机与目标

• 为填补基于真实世界人类决策影响而非代理指标（如保真度或鲁棒性）评估 XAI 方法的空白。
• 开发一种方法论——XAI Test，以隔离逐步呈现数据、模型得分和解释对最终用户的影响。
• 通过实证评估流行后训练解释器（LIME、SHAP、TreeInterpreter）在真实金融反欺诈检测任务中对决策准确率、速度及用户感知的影响。
• 提供基于证据的指导，选择解释器不应依据技术偏好，而应依据其对人类-AI 协作性能的实际影响。

提出的方法

• XAI Test 是一种受控的、基于应用的评估框架，系统性地逐步增加信息层级：仅数据 → 数据 + 模型得分 → 数据 + 模型得分 + 解释。
• 该方法涉及真实用户（反欺诈分析师）在真实数据和已部署的机器学习模型上，分三个不同信息阶段执行真实决策任务。
• 性能指标包括决策准确率、决策时间、召回率和假阳性率，所有阶段均进行测量，并执行统计比较。
• 通过问卷调查收集用户对解释有用性、相关性和多样性的感知。
• 使用统计检验（如重复测量方差分析）检测不同条件之间的显著差异，确保研究发现的稳健性。
• 该框架通过在真实世界环境中控制所有其他变量，实现了对解释因果影响的隔离。

实验结果

研究问题

• RQ1 与仅使用数据或数据加模型得分相比，提供后训练解释是否能提升反欺诈分析师的决策准确率？
• RQ2 不同解释方法（LIME、SHAP、TreeInterpreter）在人类决策表现上的影响如何比较？
• RQ3 解释对决策时间有何影响？是否存在准确率与效率之间的权衡？
• RQ4 终端用户如何感知不同 XAI 方法解释的有用性、相关性和多样性？
• RQ5 不同方法对同一实例的特征归因差异程度如何？

主要发现

• 仅使用数据的条件达到了最高的决策准确率（均值 78.3%），且决策时间最慢，优于所有其他变体。
• 所有解释方法在准确率上均优于仅使用数据加模型得分的条件，但均未达到仅使用数据条件的准确率水平。
• LIME 是分析师最不青睐的方法，可能因其在不同交易中解释的变异性较低。
• SHAP 和 TreeInterpreter 的解释多样性高于 LIME，两者在特征归因方差上相差 25.4%。
• LIME 与 TreeInterpreter 在解释方差上相差 23.5%，表明其在特征选择上的一致性较低。
• 当使用相同解释格式时，LIME、SHAP 和 TreeInterpreter 在性能指标（准确率、假阳性率、召回率）上均无显著差异。