[论文解读] Interpretable and Explorable Approximations of Black Box Models

Himabindu Lakkaraju, Ece Kamar+2 more|arXiv (Cornell University)|Jan 1, 2017

Explainable Artificial Intelligence (XAI)参考文献 4被引用 118

一句话总结

BETA 是一种模型无关的框架，通过一种新颖的目标函数，联合优化保真度、可解释性和无歧义性，生成黑箱分类器的全局、可解释且忠实的近似。它支持用户引导的交互式探索，可在用户偏好的子空间中分析模型行为，相较于最先进方法，在真实数据集上的紧凑性、准确性和可理解性方面表现更优。

ABSTRACT

We propose Black Box Explanations through Transparent Approximations (BETA), a novel model agnostic framework for explaining the behavior of any black-box classifier by simultaneously optimizing for fidelity to the original model and interpretability of the explanation. To this end, we develop a novel objective function which allows us to learn (with optimality guarantees), a small number of compact decision sets each of which explains the behavior of the black box model in unambiguous, well-defined regions of feature space. Furthermore, our framework also is capable of accepting user input when generating these approximations, thus allowing users to interactively explore how the black-box model behaves in different subspaces that are of interest to the user. To the best of our knowledge, this is the first approach which can produce global explanations of the behavior of any given black box model through joint optimization of unambiguity, fidelity, and interpretability, while also allowing users to explore model behavior based on their preferences. Experimental evaluation with real-world datasets and user studies demonstrates that our approach can generate highly compact, easy-to-understand, yet accurate approximations of various kinds of predictive models compared to state-of-the-art baselines.

研究动机与目标

• 解决黑箱分类器缺乏全局、可解释且忠实的解释，且解释需紧凑无歧义的问题。
• 使用户能够交互式地探索特征空间中用户定义的子空间内的模型行为。
• 联合优化对原始模型的保真度、解释的可解释性以及决策区域的无歧义性。
• 提供一种适用于任何黑箱模型的框架，无需修改模型架构。
• 生成既易于人类理解又高度准确反映原始模型行为的解释。

提出的方法

• 提出一种新颖的目标函数，平衡对黑箱模型的保真度、解释的可解释性以及决策区域的无歧义性。
• 学习一组紧凑的决策集，共同近似整个特征空间中黑箱模型的行为。
• 使用具有最优性保证的优化方法，确保学习到的近似既准确又可解释。
• 在近似生成过程中引入用户输入，以引导对特定用户感兴趣子空间的探索。
• 采用透明且模块化的设计，支持对近似决策集的高效训练与推理。
• 支持模型无关的部署，使其可应用于任何预训练分类器，无论其架构如何。

实验结果

研究问题

• RQ1 是否能够设计一种全局解释框架，联合优化黑箱模型解释中的保真度、可解释性和无歧义性？
• RQ2 该框架在生成紧凑且人类可理解的决策集方面表现如何，能否忠实反映复杂黑箱模型的行为？
• RQ3 用户引导的探索在多大程度上能提升模型解释的相关性与可解释性？
• RQ4 与最先进方法相比，该框架在解释质量、紧凑性和准确性方面表现如何？
• RQ5 在显著降低解释复杂度的同时，该框架能否保持高保真度，相较于基线方法？

主要发现

• BETA 生成的解释比最先进基线方法显著更紧凑，同时保持了对原始黑箱模型的高保真度。
• 用户研究表明，该框架生成的解释在可解释性和易理解性方面始终更优。
• 用户引导的探索支持对用户感兴趣子空间中模型行为的针对性分析，显著提升了实际可用性。
• 优化过程提供最优性保证，确保理论上的严谨性与可靠性。
• 在真实世界数据集上的实证评估表明，BETA 在准确性和可解释性指标上均优于现有方法。
• 该框架在无需模型特定适配的情况下，成功泛化于多种黑箱模型。