[论文解读] A Framework for Evaluating Post Hoc Feature-Additive Explainers

Zachariah Carmichael, Walter J. Scheirer|arXiv (Cornell University)|Jun 15, 2021

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出了一套框架，通过将后处理特征加法解释器的输出与模型加法结构直接推导出的真实值进行比较，实现对这些解释器的客观评估。结果表明，即使像 LIME 和 SHAP 这类流行方法在高维或交互式模型中也可能产生误导性解释，而 SHAP 虽然表现更优，但在复杂条件下仍会失效。

ABSTRACT

Many applications of data-driven models demand transparency of decisions, especially in health care, criminal justice, and other high-stakes environments. Modern trends in machine learning research have led to algorithms that are increasingly intricate to the degree that they are considered to be black boxes. In an effort to reduce the opacity of decisions, methods have been proposed to construe the inner workings of such models in a human-comprehensible manner. These post hoc techniques are described as being universal explainers - capable of faithfully augmenting decisions with algorithmic insight. Unfortunately, there is little agreement about what constitutes a "good" explanation. Moreover, current methods of explanation evaluation are derived from either subjective or proxy means. In this work, we propose a framework for the evaluation of post hoc explainers on ground truth that is directly derived from the additive structure of a model. We demonstrate the efficacy of the framework in understanding explainers by evaluating popular explainers on thousands of synthetic and several real-world tasks. The framework unveils that explanations may be accurate but misattribute the importance of individual features.

研究动机与目标

• 为高风险人工智能应用中后处理解释器缺乏客观真实值评估的问题提供解决方案。
• 揭示依赖主观判断或代理指标的现有评估方法为何无法确保解释的保真度。
• 开发一种系统性框架，利用合成模型和真实世界模型实现对解释器的全面、客观分析。
• 在数千个合成任务和真实数据集上评估主流解释器（LIME、SHAP、SHAPR、PDP 和 MAPLE）的性能。
• 揭示在高维和复杂特征交互条件下解释器的局限性。

提出的方法

• 构建一个测试平台，生成具有已知特征加法贡献的合成模型，作为真实值。
• 设计 MatchEffects 算法，通过提取其加法效应，将一大类模型映射到后处理解释中。
• 使用归一化均方根误差（NRMSE）和余弦距离，对解释器输出与真实值进行定量比较。
• 在合成任务（可控特征交互与维度）和真实世界数据集（如 COMPAS、波士顿房价）上评估解释器。
• 通过可视化各类模型中最差情况的解释，评估解释器在压力条件下的可靠性。
• 将该框架应用于检测误判，例如错误的特征贡献符号或大小，即使解释看起来合理。

实验结果

研究问题

• RQ1 当基于模型加法结构推导的真实值进行评估时，主流后处理解释器表现如何？
• RQ2 在高维或交互式模型中，LIME 和 SHAP 等解释器在多大程度上错误分配特征重要性？
• RQ3 客观评估框架能否检测到主观或代理评估方法无法察觉的失败？
• RQ4 哪些模型特性（如特征交互或维度）最显著地降低解释器的保真度？
• RQ5 在分析最坏情况实例时，不同解释器的解释质量如何变化？

主要发现

• SHAP 始终优于其他解释器，在波士顿房价数据集上 NRMSE 为 0.129，而 LIME 的误差很高（NRMSE = 3.04），且错误分配特征重要性。
• 即使外观合理的解释也可能不忠实：多个解释器为特征分配了相反符号的贡献，表明存在根本性误表征。
• 所有评估过的解释器——包括 SHAP——在高维设置和高阶交互模型中开始失效。
• LIME、PDP 和 SHAPR 的最坏情况解释显示出系统性错误，如错误的归因大小和符号，尽管初看之下似乎合理。
• 该框架揭示，仅依赖聚合指标是不够的；最坏情况下的性能限制了解释器在高风险领域中的实用性。
• 基于代理模型（如 LIME 和 PDP）的解释尤其容易因违反特征独立性假设而出现不稳定和不准确。