[论文解读] Feature Removal Is a Unifying Principle for Model Explanation Methods

Ian Covert, Scott Lundberg+1 more|arXiv (Cornell University)|Nov 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用 19

一句话总结

本文提出了一种基于特征移除原则的模型解释方法统一框架，表明26种不同的方法——包括SHAP、LIME和置换检验——均共享这一核心机制。通过从三个维度形式化特征移除过程：特征如何被移除、分析何种模型行为以及影响如何被总结，该框架揭示了局部、全局和博弈论方法之间深层次的结构相似性，从而实现更优的方法选择，并为未来研究提供指导。

ABSTRACT

Researchers have proposed a wide variety of model explanation approaches, but it remains unclear how most methods are related or when one method is preferable to another. We examine the literature and find that many methods are based on a shared principle of explaining by removing - essentially, measuring the impact of removing sets of features from a model. These methods vary in several respects, so we develop a framework for removal-based explanations that characterizes each method along three dimensions: 1) how the method removes features, 2) what model behavior the method explains, and 3) how the method summarizes each feature's influence. Our framework unifies 26 existing methods, including several of the most widely used approaches (SHAP, LIME, Meaningful Perturbations, permutation tests). Exposing the fundamental similarities between these methods empowers users to reason about which tools to use, and suggests promising directions for ongoing model explainability research.

研究动机与目标

• 澄清文献中大量涌现的多样化模型解释方法之间的关系及其潜在原理。
• 识别出一个统一原则——特征移除——作为许多现有解释技术的基础。
• 构建一个正式框架，从三个维度刻画解释方法：特征移除策略、所分析的模型行为以及影响总结方法。
• 通过揭示SHAP、LIME、IME等广泛使用方法在特征移除基础上的共同基础，系统化地理解这些方法。
• 使研究人员和实践者能够更审慎地进行方法选择，并指导未来在模型可解释性领域的研究。

提出的方法

• 该框架将解释方法建模为通过三个核心选择运作：(1) 特征如何被移除（例如，用基线值替代、边缘化或训练独立模型），(2) 分析何种模型行为（例如，预测值、损失或方差），以及(3) 如何总结特征影响（例如，通过期望、差值或Shapley值）。
• 引入子集函数作为数学工具，以表示和比较不同的特征移除策略，从而实现不同方法之间的互换性。
• 通过将方法的核心目标与实际近似方法（如使用边缘或条件分布进行特征移除）解耦，该框架对现有方法进行了泛化。
• 形式化地建立了全局方法与局部方法之间的联系，表明即使像Shapley效应和SAGE这样的方法也可在相同的特征移除范式下表达。
• 该框架被应用于26种方法，包括SHAP、LIME、有意义扰动（Meaningful Perturbations）、置换检验和TreeSHAP，证明了它们共享的理论基础。
• 论文通过数学推导表明，在特定假设下（如使用被移除特征的联合边缘分布），KernelSHAP和IME方法在数学上是等价的。

实验结果

研究问题

• RQ1 SHAP、LIME和置换检验等广泛使用的模型解释方法在根本层面上有何关联？
• RQ2 能否开发一个统一框架，捕捉不同解释方法之间共享的核心机制？
• RQ3 区分现有解释方法的三个关键维度是什么，同时保持其共同原则？
• RQ4 看似无关的方法——如博弈论方法与特征选择技术——在多大程度上共享相同的底层机制？
• RQ5 该框架在多大程度上能澄清现有方法的假设与权衡，例如在边缘化被移除特征时对分布的选择？

主要发现

• 本文识别出特征移除是26种现有解释方法（包括SHAP、LIME和置换检验）的统一原则，揭示了这些方法均通过测量从模型中移除特征的影响来运作。
• 该框架形式化表明，所有方法均可通过三个选择来刻画：特征移除策略、所分析的模型行为以及影响总结方式，从而实现系统化的比较。
• 研究表明，在特定假设下（如使用被移除特征的联合边缘分布），IME与SHAP在数学上是等价的。
• 该框架揭示了TreeSHAP对缺失特征的处理方式并不等同于标准边缘化，而是基于树结构的路径平均机制。
• 本文证明，通过将合作博弈重新定义为损失或方差减少，基于方差的方法（如Shapley效应和SAGE）可被重新表述为特征移除框架的一部分。
• 通过将方法的核心目标与其计算近似方法解耦，该框架揭示出一些广泛使用的方法依赖于隐含假设（如均匀分布或边缘分布），而这些假设在原始文献中并未总是明确说明。