[论文解读] MeLIME: Meaningful Local Explanation for Machine Learning Models

Tiago Botari, Frederik Hvilshøj+2 more|arXiv (Cornell University)|Sep 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 44被引用 7

一句话总结

MeLIME 引入了一种模型无关的局部解释框架，通过结合数据分布感知的扰动采样和鲁棒的局部模型训练，增强了 LIME，为表格、图像和文本数据的黑箱机器学习模型生成更合理且可靠的解释。它通过生成反事实示例提升可解释性，在 MNIST 和情感分析任务上优于 LIME、GuidedBackprop、SmoothGrad 和 LRP。

ABSTRACT

Most state-of-the-art machine learning algorithms induce black-box models, preventing their application in many sensitive domains. Hence, many methodologies for explaining machine learning models have been proposed to address this problem. In this work, we introduce strategies to improve local explanations taking into account the distribution of the data used to train the black-box models. We show that our approach, MeLIME, produces more meaningful explanations compared to other techniques over different ML models, operating on various types of data. MeLIME generalizes the LIME method, allowing more flexible perturbation sampling and the use of different local interpretable models. Additionally, we introduce modifications to standard training algorithms of local interpretable models fostering more robust explanations, even allowing the production of counterfactual examples. To show the strengths of the proposed approach, we include experiments on tabular data, images, and text; all showing improved explanations. In particular, MeLIME generated more meaningful explanations on the MNIST dataset than methods such as GuidedBackprop, SmoothGrad, and Layer-wise Relevance Propagation. MeLIME is available on https://github.com/tiagobotari/melime.

研究动机与目标

• 解决 LIME 在为黑箱模型生成可靠局部解释时的局限性。
• 通过在扰动采样过程中融入底层数据分布，提升解释质量。
• 开发鲁棒的局部可解释模型训练策略，确保特征重要性估计的收敛性与稳定性。
• 支持生成反事实示例，作为模型预测的补充解释。
• 在多种数据类型（表格、图像、文本）上评估 MeLIME，证明其相对于现有方法的一致性改进。

提出的方法

• MeLIME 通过使用数据分布感知的扰动采样，推广了 LIME，通过领域估计避免生成分布外样本。
• 它采用生成器（如文本的 Word2VecGen）来采样保持在训练数据特征空间域内的扰动。
• 局部可解释模型通过同时在特征重要性和模型误差上设置收敛准则进行训练，以确保鲁棒性。
• MeLIME 将局部统计度量集成到局部模型策略中，以更稳定地估计特征贡献。
• 通过扰动输入特征生成反事实示例，展示微小变化如何影响预测，从而增强可解释性。
• 该框架采用统一的模块化架构，支持表格、图像和文本数据的分类与回归任务。

实验结果

研究问题

• RQ1 如何通过尊重底层数据分布，使黑箱机器学习模型的局部解释更具意义？
• RQ2 在 LIME 中修改扰动采样和局部模型训练，能在解释质量上带来哪些改进？
• RQ3 MeLIME 能否生成可靠的反事实示例，以增强模型的可解释性？
• RQ4 在多种数据类型上，MeLIME 与 LIME 及其他显著性方法相比，解释质量如何？
• RQ5 MeLIME 在多大程度上能通过人工扰动和反事实分析暴露黑箱模型的弱点？

主要发现

• 在 MNIST 数据集上，MeLIME 生成的解释比 LIME、GuidedBackprop、SmoothGrad 和 LRP 更具意义，尤其在突出相关图像区域方面表现更优。
• 在文本数据上，MeLIME 正确识别出 'refreshing' 为高重要性词汇且具有负向信号，表明替换它可能改变情感预测结果。
• 在局部模型训练期间生成的人工句子证实，MeLIME 的解释与模型行为一致，增强了对解释结果的信任。
• 该方法成功生成了反事实示例，展示了微小输入变化如何影响预测，提供了对模型更深入的洞察。
• 在表格、图像和文本数据上，MeLIME 在解释的可靠性与可解释性方面均优于 LIME，特征相关性准确率有定量提升。
• 在局部模型训练中使用收敛准则，相比标准 LIME 训练，使特征重要性估计更加稳定和一致。