[论文解读] A Modified Perturbed Sampling Method for Local Interpretable Model-agnostic Explanation

Sheng Shi, Xinfeng Zhang+1 more|arXiv (Cornell University)|Feb 18, 2020

Explainable Artificial Intelligence (XAI)被引用 16

一句话总结

本文提出MPS-LIME，一种改进的扰动采样方法，用于局部可解释性模型无关解释（LIME），通过将超像素转换为无向图并形式化采样为团集构建问题，以建模图像数据中的特征相关性。实验表明，与标准LIME相比，MPS-LIME在Inception和随机森林模型上实现了显著更高的保真度（R² ≈ 0.9）、更好的预测准确度（MAE ↓ 80%）以及更快的运行时间（≈50%减少）。

ABSTRACT

Explainability is a gateway between Artificial Intelligence and society as the current popular deep learning models are generally weak in explaining the reasoning process and prediction results. Local Interpretable Model-agnostic Explanation (LIME) is a recent technique that explains the predictions of any classifier faithfully by learning an interpretable model locally around the prediction. However, the sampling operation in the standard implementation of LIME is defective. Perturbed samples are generated from a uniform distribution, ignoring the complicated correlation between features. This paper proposes a novel Modified Perturbed Sampling operation for LIME (MPS-LIME), which is formalized as the clique set construction problem. In image classification, MPS-LIME converts the superpixel image into an undirected graph. Various experiments show that the MPS-LIME explanation of the black-box model achieves much better performance in terms of understandability, fidelity, and efficiency.

研究动机与目标

• 为解决标准LIME的均匀随机采样方法忽略图像数据中特征相关性的问题。
• 通过整合超像素之间的空间相关性，提升局部模型解释的保真度与可理解性。
• 通过减少无效扰动样本的数量，提升计算效率。
• 将扰动采样形式化为在超像素图上的团集构建问题，以实现更优的局部模型拟合。
• 在多种黑箱模型（包括Inception和随机森林分类器）上展示该方法的优越性。

提出的方法

• 将输入图像转换为超像素表示，以创建可解释的、低维的特征空间。
• 从超像素构建无向图，其中顶点代表超像素，边连接空间相邻的超像素。
• 将扰动采样操作形式化为在图中寻找最大团（相互连接的顶点子集）的问题。
• 通过激活整个团而非随机选择单个超像素来生成扰动样本。
• 基于基于团的扰动样本拟合局部线性模型，以解释黑箱模型的预测结果。
• 利用所得解释模型，根据局部代理模型的系数分配特征重要性权重。

实验结果

研究问题

• RQ1 在图像数据中建模特征相关性是否能提升基于LIME解释的保真度？
• RQ2 与均匀随机采样相比，基于团的采样是否能减少不切实际的扰动样本数量？
• RQ3 所提出的方法是否能在不牺牲准确度的前提下提升局部解释的效率？
• RQ4 在真实世界图像分类器上，MPS-LIME与标准LIME在预测保真度和运行时间方面有何差异？
• RQ5 基于团的采样方法是否可推广至其他模型无关的解释方法？

主要发现

• MPS-LIME在Inception模型上的平均R²得分为0.9，显著高于LIME的平均0.65，表明其在解释黑箱预测方面具有更高的保真度。
• 与LIME相比，MPS-LIME的平均绝对误差（MAE）降低了约80%，MAE值从平均0.35降至0.015。
• MPS-LIME的运行时间减少至LIME的约50%，六张测试图像的平均执行时间分别为120ms与230ms。
• 在所有测试案例中，MPS-LIME产生的概率预测更准确且更稳定，预测概率更接近真实Inception模型的输出。
• MPS-LIME生成的视觉解释突出了更多语义上连贯且相关的超像素区域，提升了可解释性。
• 该方法在包括变色龙、蝴蝶和城堡在内的多种图像类别中均表现出一致的性能提升，证实了其鲁棒性。