[论文解读] Explaining the Explainer: A First Theoretical Analysis of LIME

Damien Garreau, Ulrike von Luxburg|arXiv (Cornell University)|Jan 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 14被引用 51

一句话总结

本文提供了对 LIME 的首次理论分析，推导了线性目标的闭式代理系数表达式，并揭示在何种条件下 LIME 能突出真实特征或可能错过重要特征。

ABSTRACT

Machine learning is used more and more often for sensitive applications, sometimes replacing humans in critical decision-making processes. As such, interpretability of these algorithms is a pressing need. One popular algorithm to provide interpretability is LIME (Local Interpretable Model-Agnostic Explanation). In this paper, we provide the first theoretical analysis of LIME. We derive closed-form expressions for the coefficients of the interpretable model when the function to explain is linear. The good news is that these coefficients are proportional to the gradient of the function to explain: LIME indeed discovers meaningful features. However, our analysis also reveals that poor choices of parameters can lead LIME to miss important features.

研究动机与目标

• 在敏感应用中促进对黑箱模型的可解释性。
• 在表格数据设定下形式化用于线性解释器的 TabularLIME。
• 推导代理系数的闭式表达，并将其与被解释函数的梯度联系起来。
• 研究参数选择如何影响特征发现和代理保真度。

提出的方法

• 将 f 模型化为线性函数，并使用欧氏距离和高斯采样分析 TabularLIME。
• 使用基于分位数的区间对特征进行离散化，并编码为二进制可解释特征。
• 将代理模型表述为对二进制特征的加权最小二乘问题。
• 推导代理系数的闭式表达，基于底层函数参数。
• 给出对代理系数估计误差和局部代理误差的概率界限。
• 讨论带宽 ν 与离散化对系数幅度和特征选择的影响。

实验结果

研究问题

• RQ1 LIME 的代理系数是否反映被解释实例处的黑箱模型梯度？
• RQ2 在何种条件下，因参数选择而导致 TabularLIME 可能错过重要特征？
• RQ3 LIME 代理的局部近似误差是多少，以及随着样本数量增加它的表现如何？
• RQ4 离散化和采样设置如何影响解释的可解释性与鲁棒性？

主要发现

• 代理系数与被解释实例处函数 f 的偏导数成正比。
• 足量样本时，TabularLIME 的系数集中在理论值附近，反映真实的特征重要性。
• 改变带宽参数可能关闭某些特征，导致重要特征从解释中消失。
• 局部代理误差通常被界定为非零，除非发生某些抵消。
• 非零系数仅在影响预测的坐标处持续；不相关的坐标趋近于零。
• 分析强调解释的鲁棒性，但也存在由于参数选择导致的不稳定性。