[论文解读] LIMEtree: Consistent and Faithful Surrogate Explanations of Multiple Classes

Kacper Sokol, Peter Flach|arXiv (Cornell University)|May 4, 2020

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

LIMEtree 提出了一种新颖的范式，通过基于多输出回归树的后处理、模型无关的代理模型，实现一致的多类别解释。其在解释质量与连贯性方面优于 LIME，且支持交互式、可定制的解释（包括反事实分析），在多类别场景下表现出高保真度。

ABSTRACT

Explainable artificial intelligence provides tools to better understand predictive models and their decisions, but many such methods are limited to producing insights with respect to a single class. When generating explanations for several classes, reasoning over them to obtain a comprehensive view may be difficult since they can present competing or contradictory evidence. To address this challenge we introduce the novel paradigm of multi-class explanations. We outline the theory behind such techniques and propose a local surrogate model based on multi-output regression trees -- called LIMEtree -- that offers faithful and consistent explanations of multiple classes for individual predictions while being post-hoc, model-agnostic and data-universal. On top of strong fidelity guarantees, our implementation delivers a range of diverse explanation types, including counterfactual statements favoured in the literature. We evaluate our algorithm with respect to explainability desiderata, through quantitative experiments and via a pilot user study, on image and tabular data classification tasks, comparing it to LIME, which is a state-of-the-art surrogate explainer. Our contributions demonstrate the benefits of multi-class explanations and wide-ranging advantages of our method across a diverse set of scenarios.

研究动机与目标

• 解决现有 XAI 方法在多类别解释中缺乏连贯性与一致性的问题。
• 构建统一的解释框架，使单一代理模型能够为多个类别生成洞察。
• 在支持交互式定制的同时，确保解释的高保真度与一致性。
• 在单一共享的解释上下文中支持多种解释类型，包括反事实分析。
• 通过定量、定性及用户研究评估，证明该方法的优越性。

提出的方法

• 提出一种专为多类别解释设计的新优化目标，确保预测结果在各类别间的一致性。
• 通过基于多输出回归树的局部代理模型（LIMEtree）实现该框架。
• 构建能同时建模多个类别预测的代理树，以保留类别间的相互关系。
• 通过在局部邻域内使代理模型预测与原始黑箱模型保持一致，确保高保真度。
• 通过用户指定的启发式规则，支持用户引导解释生成的交互式定制功能。
• 通过解析树结构，实现多种解释类型（尤其是反事实）的提取。

实验结果

研究问题

• RQ1 单一代理模型能否同时为多个类别生成一致且忠实的解释？
• RQ2 在多类别预测场景下，LIMEtree 的保真度与连贯性相较于 LIME 如何？
• RQ3 LIMEtree 在支持交互式与可定制化解释生成方面的能力有多强？
• RQ4 与单类别解释相比，LIMEtree 的多类别解释在可理解性与可信度方面表现如何？
• RQ5 多类别解释的多样性对用户对透明度与模型理解的认知有何影响？

主要发现

• LIMEtree 通过在多个类别上精确逼近黑箱模型的行为，实现了高保真度——在某些情况下达到完全保真度。
• 该方法在多个类别间生成了一致的解释，避免了因独立处理单类别解释而产生的矛盾。
• LIMEtree 通过代理树的结构化解析，支持广泛的解释类型，包括反事实分析。
• 定量实验表明，LIMEtree 在图像分类任务中相较于 LIME 在保真度与解释质量方面表现更优。
• 初步用户研究显示，多类别解释提升了透明度，且被用户认为比单类别解释更具信息量。
• 交互式定制功能的集成使用户能够探索并个性化解释，从而提升可解释性与用户参与度。