[论文解读] Model-Agnostic Interpretability of Machine Learning

Marco Túlio Ribeiro, Sameer Singh+1 more|arXiv (Cornell University)|Jun 16, 2016

Explainable Artificial Intelligence (XAI)参考文献 15被引用 692

一句话总结

本文主张将机器学习解释视为与模型无关的事后工具，认为解释不必约束底层模型，并且可以提高灵活性、可比性和用户信任；同时讨论了挑战并突出 LIME 作为一种实际方法。

ABSTRACT

Understanding why machine learning models behave the way they do empowers both system designers and end-users in many ways: in model selection, feature engineering, in order to trust and act upon the predictions, and in more intuitive user interfaces. Thus, interpretability has become a vital concern in machine learning, and work in the area of interpretable models has found renewed interest. In some applications, such models are as accurate as non-interpretable ones, and thus are preferred for their transparency. Even when they are not accurate, they may still be preferred when interpretability is of paramount importance. However, restricting machine learning to interpretable models is often a severe limitation. In this paper we argue for explaining machine learning predictions using model-agnostic approaches. By treating the machine learning models as black-box functions, these approaches provide crucial flexibility in the choice of models, explanations, and representations, improving debugging, comparison, and interfaces for a variety of users and models. We also outline the main challenges for such methods, and review a recently-introduced model-agnostic explanation approach (LIME) that addresses these challenges.

研究动机与目标

• 主张将解释与模型分离，以提升灵活性和实用性。
• 展示模型无关的解释如何在控制可解释性的同时实现对任意模型的使用。
• 突出解释类型、保真度和解释的表示灵活性。
• 讨论在部署模型无关解释时的挑战与实际注意事项。

提出的方法

• 提出将解释视为事后且模型无关的，以保持模型灵活性。
• 使用局部保真性目标定义模型无关解释的形式化框架。
• 引入围绕一个实例的局部性概念和一个近似度量来引导解释生成。
• 将 LIME 描述为一个具体的实现，它在局部学习一个简单、可解释的模型以近似黑箱预测器。
• 演示如何在不同的可解释模型类别和复杂度约束下推导解释。
• 讨论使用一致的解释表示来比较模型的能力。

实验结果

研究问题

• RQ1 为什么为了可解释性应将解释与建模过程分离（模型无关性）？
• RQ2 如何在不要求可解释模型本身就是预测器的前提下，为任意分类器生成局部保真的解释？
• RQ3 模型无关解释的挑战与局限性有哪些，像 LIME 这样的方法如何解决它们？
• RQ4 在保持对原始模型保真度的同时，如何将解释定制给不同的用户和表示？
• RQ5 模型无关解释能否在更低成本下促进模型比较和替换？

主要发现

• 模型无关解释在提供可解释表示的同时，能够灵活使用任意模型。
• 局部解释在特定实例周围的邻域内可以对模型保持保真，即使全局保真不可行。
• LIME 通过在可解释性约束下优化局部解释模型以最小化不保真，提供了一个实用框架。
• 解释可以使用各种解释族和复杂度度量来生成，从而实现定制化的可解释性。
• 该方法支持表示灵活性，使得文本模型可以用词语表示、图像模型用超像素表示，无论底层特征空间为何。
• 模型无关解释促进使用一致的解释技术进行模型比较和切换。