[论文解读] Local Rule-Based Explanations of Black Box Decision Systems

Riccardo Guidotti, Anna Monreale+4 more|arXiv (Cornell University)|May 28, 2018

Explainable Artificial Intelligence (XAI)参考文献 35被引用 196

一句话总结

LORE 通过使用遗传算法创建一个合成邻域、训练一个本地决策树，并提取具有对照性规则的决策规则，以为黑盒决策提供本地、可解释的解释。

ABSTRACT

The recent years have witnessed the rise of accurate but obscure decision systems which hide the logic of their internal decision processes to the users. The lack of explanations for the decisions of black box systems is a key ethical issue, and a limitation to the adoption of machine learning components in socially sensitive and safety-critical contexts. %Therefore, we need explanations that reveals the reasons why a predictor takes a certain decision. In this paper we focus on the problem of black box outcome explanation, i.e., explaining the reasons of the decision taken on a specific instance. We propose LORE, an agnostic method able to provide interpretable and faithful explanations. LORE first leans a local interpretable predictor on a synthetic neighborhood generated by a genetic algorithm. Then it derives from the logic of the local interpretable predictor a meaningful explanation consisting of: a decision rule, which explains the reasons of the decision; and a set of counterfactual rules, suggesting the changes in the instance's features that lead to a different outcome. Wide experiments show that LORE outperforms existing methods and baselines both in the quality of explanations and in the accuracy in mimicking the black box.

研究动机与目标

• 在不透明模型中阐明对给定实例为何作出特定决策。
• 使用简单的逻辑规则提供有意义、易于人类理解的解释。
• 提供反事实，使得通过最小修改就能改变结果。
• 保持与模型无关的解释，不依赖黑盒内部实现。

提出的方法

• 使用遗传算法在目标实例 x 周围生成一个平衡的合成邻域，利用两个适应度函数生成 Z_= 和 Z_\neq，以保留或改变黑盒输出。
• 在邻域 Z 上训练一个本地可解释的预测器 c（一个决策树），以在 x 附近模仿黑盒行为。
• 将本地解释提取为一个对 e = <r, Φ> 的形式，其中 r 是解释结果的决策规则，Φ 是一组最小的反事实规则，用于逆转结果。
• 通过在本地决策树中识别导致替代结果的路径来推导反事实，并选择对 x 的最小修改。
• 使用基于距离的混合型特征度量来引导邻域生成并确保与 x 的接近度。
• 以可解释的逻辑规则形式提供解释，这些规则与 t(e) 一致且由 x 满足。

实验结果

研究问题

• RQ1 LORE 在多大程度上能够解释黑盒预测中对特定实例的决策？
• RQ2 在实例周围，局部学习的决策树是否能够准确模仿黑盒？
• RQ3 生成的解释（规则和反事实）是否对于用户具有信息性和可操作性？
• RQ4 LORE 与现有解释方法在解释质量和模仿精度方面有何不同？

主要发现

• LORE 在解释质量和模仿黑盒的准确性方面优于现有方法和基线。
• 该方法使用遗传算法生成一个在决策边界附近密集的邻域，从而改善局部解释。
• 本地解释包括一个与局部预测器一致的规则以及一组最小的反事实规则。
• 反事实来自本地决策树中的路径，设计为在特征修改上尽量小。
• 该方法对底层黑盒模型是无关的，适用于关系型、表格数据。