[论文解读] Global Aggregations of Local Explanations for Black Box models

Ilse van der Linden, Hinda Haned+1 more|arXiv (Cornell University)|Jul 5, 2019

Explainable Artificial Intelligence (XAI)参考文献 19被引用 29

一句话总结

本文提出全局局部解释聚合（GALE）框架，通过聚合局部LIME解释来推断黑箱模型的全局模型行为。结果表明，标准全局LIME重要性无法可靠地表示全局决策规则，而基于同质性的加权聚合方法能更好地识别区分性特征，并为文本分类任务提供更准确、更具洞察力的全局解释。

ABSTRACT

The decision-making process of many state-of-the-art machine learning models is inherently inscrutable to the extent that it is impossible for a human to interpret the model directly: they are black box models. This has led to a call for research on explaining black box models, for which there are two main approaches. Global explanations that aim to explain a model's decision making process in general, and local explanations that aim to explain a single prediction. Since it remains challenging to establish fidelity to black box models in globally interpretable approximations, much attention is put on local explanations. However, whether local explanations are able to reliably represent the black box model and provide useful insights remains an open question. We present Global Aggregations of Local Explanations (GALE) with the objective to provide insights in a model's global decision making process. Overall, our results reveal that the choice of aggregation matters. We find that the global importance introduced by Local Interpretable Model-agnostic Explanations (LIME) does not reliably represent the model's global behavior. Our proposed aggregations are better able to represent how features affect the model's predictions, and to provide global insights by identifying distinguishing features.

研究动机与目标

• 解决黑箱模型中局部解释与全局模型行为之间的差距。
• 评估聚合局部解释是否能产生可靠且可解释的全局洞察。
• 比较不同聚合策略在忠实反映模型全局决策过程方面的表现。
• 识别在多分类文本分类任务中哪种聚合方法最能捕捉跨多个类别的特征重要性。
• 开发一种增强复杂模型可解释性的框架，同时不牺牲其保真度。

提出的方法

• GALE通过在多个实例上聚合局部LIME解释，推导出全局特征重要性得分。
• 评估三种聚合策略：全局LIME重要性、全局平均重要性和同质性加权重要性。
• 同质性加权重要性根据特征在不同类别中归因的一致性调整其重要性，降低在多个类别中具有混合归因特征的影响。
• 该方法适用于使用LIME生成局部解释的二分类和多分类文本分类任务。
• 通过可视化和定性分析评估各类别下顶级特征的代表性与区分性。
• 在20 Newsgroups数据集上对情感和文档分类任务进行了框架验证。

实验结果

研究问题

• RQ1 聚合局部解释是否能为黑箱模型的全局行为提供可靠且有用的洞察？
• RQ2 不同聚合策略在反映模型真实全局决策规则方面有何比较？
• RQ3 全局LIME重要性是否准确反映了模型的全局特征重要性，还是受局部噪声影响而产生偏差？
• RQ4 在多分类文本分类中，哪种聚合方法最能识别具有类别的区分性特征？
• RQ5 聚合方法在多大程度上保持了局部解释的可解释性和保真度？

主要发现

• 全局LIME重要性无法可靠地反映模型的全局行为，因为它包含了实质性特征和非区分性特征（如常见词汇和标点符号）。
• 全局平均重要性通过过滤常见词汇和标点符号，在LIME基础上有所改进，但在不同类别间仍缺乏一致性。
• 同质性加权重要性产生了最清晰的类别特异性区分特征聚类，表明其与全局决策规则的对齐性更好。
• 同质性加权方法降低了在多个类别中具有高归因的特征的重要性，更倾向于选择对单一类别具有持续影响力的特征。
• 可视化结果证实，与其它方法相比，同质性加权聚合能生成更具可解释性和区分性的各类特征集合。
• 结果表明，聚合策略的选择显著影响从局部解释中获得的全局洞察的质量与可靠性。