[论文解读] Human Understandable Explanation Extraction for Black-box Classification Models Based on Matrix Factorization

Jaedeok Kim, Jingoo Seo|arXiv (Cornell University)|Sep 18, 2017

Explainable Artificial Intelligence (XAI)参考文献 15被引用 4

一句话总结

本文提出一种基于矩阵分解的方法，通过构建贡献矩阵并应用非负矩阵分解（NMF），从黑箱分类模型中提取人类可理解的、类似规则的解释。该方法在公开数据集和工业数据集上均成功生成直观且可解释的规则，与专家知识高度一致，显著提升了模型检查效率。

ABSTRACT

In recent years, a number of artificial intelligent services have been developed such as defect detection system or diagnosis system for customer services. Unfortunately, the core in these services is a black-box in which human cannot understand the underlying decision making logic, even though the inspection of the logic is crucial before launching a commercial service. Our goal in this paper is to propose an analytic method of a model explanation that is applicable to general classification models. To this end, we introduce the concept of a contribution matrix and an explanation embedding in a constraint space by using a matrix factorization. We extract a rule-like model explanation from the contribution matrix with the help of the nonnegative matrix factorization. To validate our method, the experiment results provide with open datasets as well as an industry dataset of a LTE network diagnosis and the results show our method extracts reasonable explanations.

研究动机与目标

• 解决真实世界AI服务中黑箱分类系统所面临的模型可解释性关键挑战。
• 使服务提供商能够快速检查和验证模型行为，降低开发成本并减少信任障碍。
• 开发一种可推广的方法，适用于多种分类模型，尤其适用于具有数值特征的模型。
• 提取反映模型底层决策约束的类规则解释。
• 弥合高性能黑箱模型与人类可理解的模型检查之间的差距。

提出的方法

• 构建一个贡献矩阵，量化每个特征在所有样本上对模型预测的影响。
• 对贡献矩阵应用非负矩阵分解（NMF），在低维且可解释的空间中提取潜在的决策约束。
• 将NMF基向量用作原子决策规则，再将其组合以形成复合的、类规则的模型解释。
• 将模型解释定义为集合近似问题，目标是尽可能匹配原始模型的预测划分。
• 优化超参数k（NMF分量数量），以在模型表达能力与可解释性之间取得平衡。
• 使用解释质量的F1分数和规则清晰度的定性分析来验证该方法。

实验结果

研究问题

• RQ1 是否能够通过一种通用方法，从多样化黑箱分类模型中提取人类可理解的、基于规则的解释？
• RQ2 矩阵分解在多大程度上能够揭示控制模型预测的潜在决策约束？
• RQ3 在真实世界工业数据集中，所提取的解释在多大程度上与专家定义的规则一致？
• RQ4 NMF超参数k的选择如何影响解释的质量与可解释性？
• RQ5 该方法是否能在不同数据集和模型类型上生成一致且有意义的解释？

主要发现

• 所提出方法在解释质量上取得了较高的F1分数，在大多数数据集上表现稳定，表明其对原始模型决策划分的近似效果良好。
• 在皮疹数据集上，由于简单规则形式难以充分表达隐含的特征交互，不同模型间的性能差异较大。
• 所提取的解释直观且可直接理解——例如，在Iris数据集中，对于setosa类别，规则为“花瓣宽度 ≤ 3”，充分体现了人类可读性。
• 在LTE网络诊断数据集中，所提取的规则与专家编写的指导原则高度一致，证实了其实际有效性。
• 增加NMF超参数k可提升F1性能，表明需要足够数量的基向量才能捕捉复杂的决策约束。
• 该方法成功按分类类别对解释嵌入进行聚类，证实共享的决策逻辑被有效捕获。