[论文解读] Assessing the Local Interpretability of Machine Learning Models

Dylan Slack, Sorelle A. Friedler+2 more|arXiv (Cornell University)|Feb 9, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用 48

一句话总结

本论文在大规模众包研究和一个运行时操作计数代理指标的基础上，实证评估两种局部可解释性定义—— simulatability 和 what-if local explainability——在决策树、逻辑回归和神经网络中的表现。

ABSTRACT

The increasing adoption of machine learning tools has led to calls for accountability via model interpretability. But what does it mean for a machine learning model to be interpretable by humans, and how can this be assessed? We focus on two definitions of interpretability that have been introduced in the machine learning literature: simulatability (a user's ability to run a model on a given input) and "what if" local explainability (a user's ability to correctly determine a model's prediction under local changes to the input, given knowledge of the model's original prediction). Through a user study with 1,000 participants, we test whether humans perform well on tasks that mimic the definitions of simulatability and "what if" local explainability on models that are typically considered locally interpretable. To track the relative interpretability of models, we employ a simple metric, the runtime operation count on the simulatability task. We find evidence that as the number of operations increases, participant accuracy on the local interpretability tasks decreases. In addition, this evidence is consistent with the common intuition that decision trees and logistic regression models are interpretable and are more interpretable than neural networks.

研究动机与目标

• 为 ML 模型定义并验证局部可解释性概念（simulatability 和 what-if local explainability）。
• 评估常见模型（决策树、逻辑回归、神经网络）在局部可解释性上的差异。
• 评估一个简单的运行时操作计数是否可以作为用户在局部解释模型时能力的代理指标。
• 提供基于人类可解释性因素的实证基准与模型选择指南。

提出的方法

• 定义两种局部可解释性任务（在输入上模拟模型；在对输入进行小幅更改时确定输出）。
• 使用合成数据集来训练并表示三种模型类型（决策树、逻辑回归、神经网络）。
• 在预测过程中在 Python 中对运行时运算（算术和布尔）进行计数，以推导一个解释性代理指标。
• 开展一项包含 1000 名参与者的众包研究，验证不同模型和输入下的 simulatability 与 what-if explainability。
• 将时间和准确性作为运算次数的函数进行分析，并使用 Fisher 精确检验和 Bonferroni 校正的 p 值来比较模型。

实验结果

研究问题

• RQ1 人在不同模型类型下在 simulatability 和 what-if 局部可解释性任务上的表现是否更好？
• RQ2 决策树、逻辑回归和神经网络在局部可解释性上是否存在相对排序？
• RQ3 运行时总运算次数是否与完成任务所需时间以及在解释性任务上的准确性相关？
• RQ4 运算次数是否可以作为跨模型的局部可解释性代理指标？

主要发现

• 在给定表示下，决策树和逻辑回归在局部可解释性方面具有解释性；神经网络则不是。
• 决策树在 simulatability 和 what-if 任务上都比逻辑回归和神经网络更具局部可解释性。
• 随着运算次数的增加，用户在解释性任务上的耗时增加、准确性下降，尤其是对决策树而言。
• 神经网络显示出显著更长的模拟时间，且在规模增大时可能变得不可模拟；较高的运算次数限制了局部可解释性。
• 研究通过 Fisher 检验提供了强证据，表明在相对局部可解释性方面 DT > LR > NN。
• 提出的代理指标（运行时操作计数）在不同任务和模型中追踪时间与准确性的趋势。