[论文解读] InterpretML: A Unified Framework for Machine Learning Interpretability

Harsha Nori, Samuel Jenkins+2 more|arXiv (Cornell University)|Sep 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 16被引用 316

一句话总结

InterpretML 提供一个统一的 Python 框架，用于机器学习可解释性，结合玻璃盒模型与黑盒解释工具，并引入可解释提升机（EBM）。

ABSTRACT

InterpretML is an open-source Python package which exposes machine learning interpretability algorithms to practitioners and researchers. InterpretML exposes two types of interpretability - glassbox models, which are machine learning models designed for interpretability (ex: linear models, rule lists, generalized additive models), and blackbox explainability techniques for explaining existing systems (ex: Partial Dependence, LIME). The package enables practitioners to easily compare interpretability algorithms by exposing multiple methods under a unified API, and by having a built-in, extensible visualization platform. InterpretML also includes the first implementation of the Explainable Boosting Machine, a powerful, interpretable, glassbox model that can be as accurate as many blackbox models. The MIT licensed source code can be downloaded from github.com/microsoft/interpret.

研究动机与目标

• 提供统一的 API，用于在玻璃盒和黑盒方法之间比较可解释性算法。
• 通过一致的接口公开可解释模型（玻璃盒）和模型无关的解释（黑盒）。
• 实现可视化和基于仪表板的比较，帮助模型可解释性决策。
• 引入并评估可解释提升机（EBM）作为一个准确且易理解的模型。

提出的方法

• 采用 scikit-learn 风格的 API，以简化可解释性算法的比较。
• 呈现两种可解释性形式：玻璃盒模型（本质可解释）和黑盒解释（适用于任何管道）。
• 引入可解释提升机（EBM），这是一种广义加法模型，学习特征函数与可选的成对交互。
• 对特征进行轮访提升，使用较小学习率，以缓解多重共线性并确保加性可解释性。
• EBM 使用 C++/Python 实现，并通过 joblib 进行并行化，以实现可扩展训练和快速预测。
• 提供对特征贡献 f_j(x_j) 的可视化，以解释单个预测。

实验结果

研究问题

• RQ1 如何在统一 API 下暴露可解释性算法，以促进比较？
• RQ2 高度可解释的透明盒模型（EBM）是否能够在预测性能上达到与最先进黑盒方法的竞争力？
• RQ3 EBM 相对于其他模型在不同数据集上的计算特性（训练/预测）是什么？
• RQ4 用于理解特征贡献和交互的可视化与交互工具的效果如何？

主要发现

模型	心脏病（303, 13）	乳腺癌（569, 30）	电信流失（7043, 19）	成人收入（32561, 14）	信用欺诈（284807, 30）
EBM	0.916	0.995	0.851	0.928	0.975
LightGBM	0.864	0.992	0.835	0.928	0.685
逻辑回归	0.895	0.995	0.804	0.907	0.979
随机森林	0.89	0.992	0.824	0.903	0.95
XGBoost	0.87	0.995	0.85	0.922	0.981

• 在多个数据集上，EBM 的预测性能常常可与随机森林（Random Forest）和 XGBoost 等最先进模型相媲美。
• 由于其加性结构和简单项查找，EBM 提供快速预测且内存占用低。
• EBM 支持自动包含成对交互以提升准确性，同时保持可解释性。
• 该框架使多种可解释性算法之间的比较变得简单，并包含交互式可视化和仪表板。
• EBM 的默认参数强调速度，并有用于最佳准确性和可解释性的推荐参考参数。