[论文解读] Learning Global Transparent Models Consistent with Local Contrastive Explanations

Tejaswini Pedapati, Avinash Balakrishnan+2 more|arXiv (Cornell University)|Feb 19, 2020

Explainable Artificial Intelligence (XAI)参考文献 26被引用 8

一句话总结

本文提出了一种训练全局可解释、透明模型（如决策树、规则列表）的方法，使其在保持高准确率的同时，与黑箱模型的局部对比解释保持高度一致。通过一种新颖的离散化方案，将稀疏的局部对比解释转化为定制的布尔特征，该方法在保持竞争性性能的同时，显著提升了局部一致性。

ABSTRACT

There is a rich and growing literature on producing local contrastive/counterfactual explanations for black-box models (e.g. neural networks). In these methods, for an input, an explanation is in the form of a contrast point differing in very few features from the original input and lying in a different class. Other works try to build globally interpretable models like decision trees and rule lists based on the data using actual labels or based on the black-box models predictions. Although these interpretable global models can be useful, they may not be consistent with local explanations from a specific black-box of choice. In this work, we explore the question: Can we produce a transparent global model that is simultaneously accurate and consistent with the local (contrastive) explanations of the black-box model? We introduce a natural local consistency metric that quantifies if the local explanations and predictions of the black-box model are also consistent with the proxy global transparent model. Based on a key insight we propose a novel method where we create custom boolean features from sparse local contrastive explanations of the black-box model and then train a globally transparent model on just these, and showcase empirically that such models have higher local consistency compared with other known strategies, while still being close in performance to models that are trained with access to the original data.

研究动机与目标

• 弥合全局可解释模型与黑箱模型局部对比解释之间的差距。
• 开发一种方法，确保全局透明模型能够复现所选黑箱模型的局部行为。
• 提出一种一致性度量，量化局部解释与全局模型预测之间的对齐程度。
• 仅使用局部对比解释训练全局模型，避免依赖原始训练数据。
• 在不牺牲模型准确率的前提下，提升局部一致性。

提出的方法

• 提出一种局部一致性度量，用于评估全局模型是否在给定输入上与黑箱模型的预测以及局部对比解释（PPs 和 PNs）保持一致。
• 通过定制的离散化与分箱方案，将每个稀疏的局部对比解释（相关正例与负例）转换为布尔逻辑短语。
• 为 PPs 和 PNs 定义特征边界（上下限），以确保局部保真度，采用四舍五入与基于网格的离散化方法。
• 构建一个由这些源自局部解释的布尔短语组成的新型数据集，随后在该合成数据集上训练透明的全局模型（如决策树）。
• 利用一个关键洞察：局部对比解释天然编码了稀疏且有意义的特征交互，可直接表示为逻辑合取式。
• 应用该方法训练出既准确又忠实于黑箱模型局部行为的全局模型。

实验结果

研究问题

• RQ1 如何度量全局透明模型与黑箱模型局部对比解释之间的一致性？
• RQ2 能否仅使用局部解释，训练出既准确又忠实于黑箱模型局部行为的全局可解释模型？
• RQ3 使用源自局部对比解释的定制布尔特征，对模型一致性与性能有何影响？
• RQ4 与现有方法相比，该方法在局部一致性与准确率方面表现如何？
• RQ5 该方法在不同数据集与黑箱模型上是否具备泛化能力，同时保持局部忠实性？

主要发现

• 与使用原始数据或标准特征工程的基线方法相比，所提方法在与黑箱模型解释的局部一致性方面显著提升。
• 基于局部对比解释生成的定制布尔特征训练出的全局模型，在局部一致性方面优于基于原始数据训练的模型，同时保持了相当的准确率。
• 该方法成功捕捉了局部解释中的稀疏且有意义的特征交互，并在全局模型结构中得以保留。
• 在 Magic 和 Wisconsin 乳腺癌数据集上的实证结果表明，全局模型中排名靠前的布尔特征与局部对比解释高度吻合。
• 该方法实现了透明模型的构建，使其在局部上忠实于黑箱模型行为，同时具备全局可解释性，解决了模型可解释性中的一个关键局限。
• 该方法在不同黑箱模型与数据集上表现出鲁棒性，保持了高一致性，且无需访问原始训练数据。