[论文解读] A Model Explanation System: Latest Updates and Extensions

Ryan Turner|arXiv (Cornell University)|Jun 30, 2016

Imbalanced Data Classification Techniques参考文献 5被引用 12

一句话总结

本文提出一种通用的模型解释系统（MES），在不牺牲预测准确率的前提下，为黑箱分类器提供实例特定的、事后解释。该系统通过可解释布尔表达式的基于评分的优化，识别出导致单个预测的最小特征条件，在欺诈检测、人脸识别和信用评分任务中均展现出高质量、人类可理解的解释效果。

ABSTRACT

We propose a general model explanation system (MES) for "explaining" the output of black box classifiers. This paper describes extensions to Turner (2015), which is referred to frequently in the text. We use the motivating example of a classifier trained to detect fraud in a credit card transaction history. The key aspect is that we provide explanations applicable to a single prediction, rather than provide an interpretable set of parameters. We focus on explaining positive predictions (alerts). However, the presented methodology is symmetrically applicable to negative predictions.

研究动机与目标

• 为高绩效黑箱模型在欺诈检测和信用评分等高风险领域中提供人类可理解的个体预测解释，以满足实际应用需求。
• 通过提供无需重新训练或简化原始模型的解释，缓解预测准确率与模型可解释性之间的矛盾。
• 构建一个框架，通过最小化且可解释的特征条件来解释个体预测（而非全局模型行为），使其与人类推理方式保持一致。
• 将现有解释方法扩展至非概率性、硬标签黑箱模型，包括深度学习和SVM模型。
• 在计算机视觉和表格数据等多种应用场景中，证明该方法的通用性与有效性。

提出的方法

• MES框架使用一个评分函数 S(E)，定义为解释 E 与分类器 f 之间的协方差，用于衡量 E 在输入分布上预测分类器输出的能力。
• 通过优化选择解释：E* = argmax_E S(E)，约束条件为 E(x) = 1，确保解释对特定输入 x 既准确又具有意义。
• 当输入分布 p(x) 已知或可采样时，采用蒙特卡洛采样估计评分 S(E)，从而适用于真实世界数据。
• 支持轴对齐解释（如特征阈值）和更复杂的非轴对齐形式（如特征线性组合），并采用两阶段算法以提升效率。
• 该框架具有对称性：通过在优化中反转分类器标签，可同时解释正类（1）和负类（0）预测。
• 可与任何可查询的黑箱模型集成，包括SVM、深度神经网络和逻辑回归，无需访问模型参数或梯度信息。

实验结果

研究问题

• RQ1 模型解释系统能否在不损害预测性能的前提下，为黑箱分类器提供准确的、实例特定的解释？
• RQ2 如何为非概率性、硬标签模型（如SVM和深度网络）生成解释？
• RQ3 基于解释与分类器输出之间协方差的评分函数，能在多大程度上优化解释质量？
• RQ4 该框架能否在复杂模型（如人脸识别或信用评分）中揭示非显而易见但高影响力的特征？
• RQ5 与L1正则化或特征重要性等全局可解释方法相比，MES的解释在捕捉局部预测行为方面表现如何？

主要发现

• 在人脸识别示例中，MES识别出SVM分类器主要依赖于细微的光照模式，如下巴左侧和左眼下方的阴影，而非仅依赖面部身份特征。
• 在德国信用数据集中，最常见的解释基于“信用历史”和“存款账户状态”，解释了99%的测试预测，且最优解释的评分为0.491。
• 对于短期贷款（少于22个月）的解释频率较低（1%），但评分为0.244，表明其仅在低风险子群体中具有贡献。
• 当仅限制使用两个特征（信用历史和存款账户状态）时，L1正则化逻辑回归模型在22.4%的测试样本上与原始模型预测结果不一致，表明全局可解释方法可能扭曲局部预测。
• 扩展后的MES框架成功生成了非轴对齐、基于图像的解释（如线性模板），能直观突出相关面部区域，显著提升了可解释性，超越简单特征阈值。
• 基于评分的优化始终选择出 S(E) ∈ [0,1] 的解释，其中真实分类器 f 的评分为 S(f) = 1，零解释 E₀ 的评分为 S(E₀) = 0，验证了评分函数的理论合理性。