[论文解读] MAGIX: Model Agnostic Globally Interpretable Explanations

Nikaash Puri, Piyush Gupta+3 more|arXiv (Cornell University)|Jun 22, 2017

Explainable Artificial Intelligence (XAI)参考文献 24被引用 38

一句话总结

MAGIX 引入了一种模型无关的、全局可解释的方法，通过进化生成的 if-then 规则来解释黑箱分类模型。它结合了实例级别的显著性提取与遗传算法，生成精确且高覆盖率的规则集，能够准确模仿模型行为，在基准数据集上实现了高达 96.66% 的模仿准确率。

ABSTRACT

Explaining the behavior of a black box machine learning model at the instance level is useful for building trust. However, it is also important to understand how the model behaves globally. Such an understanding provides insight into both the data on which the model was trained and the patterns that it learned. We present here an approach that learns if-then rules to globally explain the behavior of black box machine learning models that have been used to solve classification problems. The approach works by first extracting conditions that were important at the instance level and then evolving rules through a genetic algorithm with an appropriate fitness function. Collectively, these rules represent the patterns followed by the model for decisioning and are useful for understanding its behavior. We demonstrate the validity and usefulness of the approach by interpreting black box models created using publicly available data sets as well as a private digital marketing data set.

研究动机与目标

• 开发一种适用于黑箱分类模型的、模型无关且人类可读的全局可解释解释方法。
• 使从业者，尤其是数字营销领域的用户，能够通过直观的 if-then 规则理解复杂模型的行为。
• 提出一种可扩展且通用的方法，捕捉全局决策模式，而无需依赖模型内部结构。
• 在多样化数据集上验证该方法，包括医疗、金融以及专有的数字营销数据。
• 引入一种新的评估指标 Imitation@K，以公平比较不同方法在基于规则的解释质量上的表现。

提出的方法

• 使用基于显著性的方法提取单个预测中实例级别的关键条件。
• 利用遗传算法进化一组 if-then 规则，以同时最大化覆盖率和精确率。
• 定义一个平衡规则覆盖率与精确率的适应度函数，以指导规则的演化。
• 从进化出的规则构建一个代理模型：根据覆盖某个实例的最精确规则进行分类，若存在并列则随机打破。
• 通过比较基于规则的代理模型与原始黑箱模型的预测结果，评估规则集的质量。
• 引入 Imitation@K 指标，评估规则集在不同大小下对原始模型的模仿程度。

实验结果

研究问题

• RQ1 一种模型无关的、全局可解释的方法能否生成准确反映复杂黑箱分类器决策模式的规则集？
• RQ2 进化生成的规则集在保持高精确率的同时，能否有效覆盖多样化数据分布？
• RQ3 所提出的 Imitation@K 指标能否有效评估并比较不同基于规则的解释方法的保真度？
• RQ4 该方法是否可扩展至实际应用场景，如数字营销，其中可解释性对用户信任至关重要？
• RQ5 与现有全局解释技术相比，进化生成的规则在覆盖率、精确率和保真度方面表现如何？

主要发现

• 在 Iris 数据集上，MAGIX 使用 10 条规则实现了 96.66% 的模仿准确率，表明其对原始模型行为具有极强的保真度。
• 在乳腺癌数据集上，该方法使用 20 条规则达到了 95.71% 的模仿准确率，证明其在医疗数据上的高性能表现。
• 在自币验证数据集上，K=20 时模仿准确率达到 96.00%，证实了其在不同类型数据上的鲁棒性。
• 在汽车评估数据集上，K=20 时模仿准确率达到 89.01%，表明即使在复杂多分类问题上，该方法也能有效生成规则。
• Imitation@K 指标成功惩罚了覆盖率或精确率较低的规则集，确保了性能评估的平衡性。
• 使用真实世界数字营销数据的验证结果证实了该方法在解释复杂个性化模型方面的实际应用价值。