[论文解读] Model Agnostic Supervised Local Explanations

Gregory Plumb, Denali Molitor+1 more|arXiv (Cornell University)|Jul 9, 2018

Fault Detection and Control Systems被引用 114

一句话总结

MAPLE 结合监督邻域与局部线性建模，提供忠实的自我解释，同时保持与随机森林和 GBRT 相当的准确性，并且可以作为黑盒解释器，在若干数据集上优于 LIME。它也通过局部训练分布检测全球模式。

ABSTRACT

Model interpretability is an increasingly important component of practical machine learning. Some of the most common forms of interpretability systems are example-based, local, and global explanations. One of the main challenges in interpretability is designing explanation systems that can capture aspects of each of these explanation types, in order to develop a more thorough understanding of the model. We address this challenge in a novel model called MAPLE that uses local linear modeling techniques along with a dual interpretation of random forests (both as a supervised neighborhood approach and as a feature selection method). MAPLE has two fundamental advantages over existing interpretability systems. First, while it is effective as a black-box explanation system, MAPLE itself is a highly accurate predictive model that provides faithful self explanations, and thus sidesteps the typical accuracy-interpretability trade-off. Specifically, we demonstrate, on several UCI datasets, that MAPLE is at least as accurate as random forests and that it produces more faithful local explanations than LIME, a popular interpretability system. Second, MAPLE provides both example-based and local explanations and can detect global patterns, which allows it to diagnose limitations in its local explanations.

研究动机与目标

• 将可解释性与在示例级、本地和全局解释方面的高预测准确性联系起来的动机。
• 开发 MAPLE，一个使用监督邻域和特征选择以产生忠实本地解释的模型。
• 展示 MAPLE 相对于基线模型的预测准确性，以及作为黑盒解释器的有效性。
• 展示 MAPLE 的局部训练分布如何揭示全局模式并指导示例解释。

提出的方法

• 使用来自随机森林的 SILO 风格监督邻域来定义局部训练分布权重（式(2)）。
• 使用 DSTump 选择的前 d 个特征进行局部加权线性回归（式(5)）。
• 通过对排序后的特征分数进行贪心前向选择的验证准确率来选择 d。
• 可选地将 MAPLE 扩展到梯度提升回归树，用于局部分布和特征评分。
• 通过检查局部线性模型系数以及使用基于训练分布的诊断来提供解释。
• 在 UCI 数据集和黑盒设置下，将 MAPLE 与 RF、GBRT、SILO 和 LIME 进行比较。

实验结果

研究问题

• RQ1 MAPLE 是否能够在提供忠实本地解释的同时，达到与标准树集成方法相当或更好的预测准确性？
• RQ2 MAPLE 的解释是否忠实反映模型在某一点的行为，它们在因果度量意义上与 LIME 的比较如何？
• RQ3 MAPLE 能否通过局部训练分布检测全局模式，并帮助为新点选择示例解释？
• RQ4 当解释一个独立预测模型时，MAPLE 作为黑盒解释器相对于 LIME 的表现如何？
• RQ5 在不同数据集和设置下，MAPLE 的特征选择和局部性具有哪些实际特征？

主要发现

数据集	线性模型	随机森林	SILO + RF	MAPLE + RF	GBRT	SILO + GBRT	MAPLE + GBRT
Autompgs	0.446	0.4164	0.3784	0.381	0.392	0.3745	0.377
Communities	0.781	0.745	0.724	0.688	0.709	0.751	0.712
Crimes	0.327	1.012	0.531	0.331	0.968	0.493	0.295
Day	0	0.204	1.7e-05	6e-06	0.104	1.3e-05	4e-06
Happiness	0.001	0.644	0.001	0.001	0.344	0.001	0.001
Housing	0.56	0.486	0.409	0.419	0.395	0.396	0.404
Music	0.935	0.742	0.881	0.764	0.658	0.901	0.849
Winequality-red	0.814	0.78	0.779	0.778	0.783	0.786	0.779
Dataset	LIME	MAPLE
Autompgs	0.178	0.042
Communities	0.409	0.130
Crimes	0.276	0.047
Day	0.034	0
Happiness	0.05	3e-05
Housing	0.238	0.07
Music	0.189	0.181
Winequality-red	0.149	0.06
Dataset	n	p	d - RF	d - GBRT
Autompgs	392	8	6.44	5.94
Communities	1993	103	54.14	50.12
Crimes	2214	103	20.34	21.62
Day	731	15	2.46	3.02
Happiness	578	8	7.74	7.46
Housing	506	12	9.98	10.06
Music	1059	70	5.56	14.46
Winequality-red	1599	12	7.1	6.88
Dataset	n	p	d
Autompgs	0.042	--	6.44
Communities	0.130	--	54.14
Crimes	0.047	--	20.34
Day	0	--	2.46
Happiness	0.00003	--	7.74
Housing	0.07	--	9.98
Music	0.181	--	5.56
Winequality-red	0.06	--	7.1

• MAPLE 通常至少与随机森林和 GBRT 同样准确，且通常优于基于 SILO 的变体（表 1 在多个数据集上的结果）。
• MAPLE 的局部线性解释是预测的忠实解释，在大多数数据集上在因果度量方面优于 LIME（表 2）。
• 作为 SVR 预测的黑盒解释器时，MAPLE 提供的因果度量解释优于 LIME（表 3）。
• 通过检查局部训练分布，MAPLE 能揭示全局模式，并指示何时全局模式影响局部解释（第 4.1 节和图 2）。
• MAPLE 通过评估局部训练分布似然来决定适用性，从而使用少量示例解释（第 4.2 节）。
• MAPLE 一般使用与基线方法相当数量的活动特征，表 4 逐数据集报告了详细的 d 值。