[论文解读] GLIME: General, Stable and Local LIME Explanation

Zeren Tan, Yang Tian+1 more|arXiv (Cornell University)|Nov 27, 2023

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

GLIME 通过整合采样分布来改进稳定性和局部保真度，从而推广 LIME，在各种分布下实现更快的收敛和与参考点无关的解释。

ABSTRACT

As black-box machine learning models grow in complexity and find applications in high-stakes scenarios, it is imperative to provide explanations for their predictions. Although Local Interpretable Model-agnostic Explanations (LIME) [22] is a widely adpoted method for understanding model behaviors, it is unstable with respect to random seeds [35,24,3] and exhibits low local fidelity (i.e., how well the explanation approximates the model's local behaviors) [21,16]. Our study shows that this instability problem stems from small sample weights, leading to the dominance of regularization and slow convergence. Additionally, LIME's sampling neighborhood is non-local and biased towards the reference, resulting in poor local fidelity and sensitivity to reference choice. To tackle these challenges, we introduce GLIME, an enhanced framework extending LIME and unifying several prior methods. Within the GLIME framework, we derive an equivalent formulation of LIME that achieves significantly faster convergence and improved stability. By employing a local and unbiased sampling distribution, GLIME generates explanations with higher local fidelity compared to LIME. GLIME explanations are independent of reference choice. Moreover, GLIME offers users the flexibility to choose a sampling distribution based on their specific scenarios.

研究动机与目标

• 解释 LIME 在黑箱模型中的不稳定性和局部保真度低的问题。
• 将 Glime 作为一个通用的局部解释框架引入，以统一现有方法。
• 推导等价的 LIME 表述（Glime-Binomial），以实现更快的收敛和更高的稳定性。
• 证明 Glime 使局部、无偏采样成为可能，独立于参考点。
• 展示在 Glime 中如何将采样分布的设计针对具体任务和目标进行定制。

提出的方法

• 将 Glime 定义为在从输入导出的特征空间上运行的通用局部解释框架。
• 将解释表述为在来自特征空间上的分布 P 的样本上进行带权损失最小化。
• 给出一个不使用加权函数的等价表述，使用变换后的采样分布，从而实现更快的收敛。
• 通过使用二项采样分布将 Glime 专门化为 Glime-Binomial，以保持对 LIME 的等价性但加速收敛。
• 展示 Glime 如何在一个框架内统一 KernelSHAP、SmoothGrad、Gradient、DLIME 和 ALIME 等方法。
• 探索如 Glime-Gauss、Glime-Laplace 和 Glime-Uniform 等变体，作为局部采样分布的示例。

实验结果

研究问题

• RQ1 LIME 的不稳定性如何产生，以及如何在统一框架内减轻它？
• RQ2 一个通用的局部解释框架是否能统一并改进现有方法（LIME、KernelSHAP、SmoothGrad、Gradient、DLIME、ALIME）？
• RQ3 将加权整合到采样分布中（Glime-Binomial）是否在不牺牲局部保真度的前提下实现更快的收敛和更好的稳定性？
• RQ4 通过采用局部、无偏采样分布，解释是否可以与参考点选择无关？
• RQ5 以何种方式让从业者将 Glime 的采样分布针对具体用例进行定制，以优化稳定性和保真度？

主要发现

• 在正则化下，Glime-Binomial 的收敛速度比 LIME 指数级快。
• Glime 在不同采样分布和设置下提供更稳定的解释。
• 通过使用局部、无偏的采样分布（独立于任何参考点），Glime 实现了更高的局部保真度。
• Glime 在一个框架内概括并统一了若干先前的方法。
• Glime 提供灵活性以选择采样分布（如 Glime-Gauss、Glime-Laplace、Glime-Uniform）以匹配应用需求。
• Glime 减少对参考点选择的依赖，提升解释的鲁棒性。