[论文解读] A study of data and label shift in the LIME framework

Amir Hossein Akhavan Rahnama, Henrik Boström|arXiv (Cornell University)|Oct 31, 2019

Explainable Artificial Intelligence (XAI)参考文献 7被引用 13

一句话总结

本文研究了LIME局部代理解释框架中的数据和标签偏移问题，表明特征的随机扰动会导致输入实例和黑箱预测的分布发生显著变化。通过最大均值差异（MMD）检验，研究发现这些偏移与解释保真度呈负相关，尤其是在最近邻数量增加时，表明LIME需要改进采样策略。

ABSTRACT

LIME is a popular approach for explaining a black-box prediction through an interpretable model that is trained on instances in the vicinity of the predicted instance. To generate these instances, LIME randomly selects a subset of the non-zero features of the predicted instance. After that, the perturbed instances are fed into the black-box model to obtain labels for these, which are then used for training the interpretable model. In this study, we present a systematic evaluation of the interpretable models that are output by LIME on the two use-cases that were considered in the original paper introducing the approach; text classification and object detection. The investigation shows that the perturbation and labeling phases result in both data and label shift. In addition, we study the correlation between the shift and the fidelity of the interpretable model and show that in certain cases the shift negatively correlates with the fidelity. Based on these findings, it is argued that there is a need for a new sampling approach that mitigates the shift in the LIME's framework.

研究动机与目标

• 调查LIME的扰动过程是否在局部代理模型中引发数据与标签偏移。
• 评估此类偏移对LIME可解释模型保真度的影响。
• 评估LIME当前的随机采样策略是否损害解释的可靠性。
• 提出需要开发新的采样方法，以减轻LIME框架中的分布偏移。

提出的方法

• 本研究使用最大均值差异（MMD）来测量原始训练实例分布与LIME扰动实例分布之间的统计差异（数据偏移）。
• 通过MMD比较黑箱模型在原始局部实例与扰动实例上的预测分布，评估标签偏移。
• 保真度通过黑箱模型与代理模型预测绝对差值的倒数进行量化：$ \mathbb{F}(x,y) = \frac{1}{|f_y(x) - g_y(x)| + 1} $。
• 分析了两个案例研究：使用SVM进行Newsgroups文本分类，以及使用Inception V3进行ImageNet目标检测。
• 实验系统性地改变LIME局部邻域选择中使用的最近邻数量（$n$），以评估对$n$的敏感性。
• 采用显著性水平$\alpha = 0.05$的两样本MMD检验，以检验原假设$H_0: P_{X_{\text{knn}}} = P_Z$和$H_0: P_{F(X_{\text{knn}})} = P_{F(Z)}$。

实验结果

研究问题

• RQ1 LIME中的扰动数据分布与原始训练分布是否存在显著差异（数据偏移）？
• RQ2 黑箱模型在扰动实例上的预测分布与在原始局部实例上的预测分布是否存在显著差异（标签偏移）？
• RQ3 数据或标签偏移的大小与LIME代理模型保真度之间是否存在相关性？
• RQ4 最近邻数量（$n$）如何影响LIME中数据与标签偏移的程度？

主要发现

• 在Newsgroups文本分类任务中，当$n \geq 20$时，100%的测试实例检测到数据偏移，MMD值从$n=20$时的5.56上升至$n=500$时的87.35。
• 在同一任务中，当$n \geq 100$时，100%的实例检测到标签偏移，MMD值从$n=100$时的11.97上升至$n=500$时的63.06。
• 在ImageNet目标检测任务中，当$n \geq 5$时，100%的实例检测到数据偏移，MMD值从$n=5$时的0.64上升至$n=500$时的65.32。
• 当$n \geq 2$时，100%的ImageNet实例检测到标签偏移，MMD值从$n=2$时的1.08上升至$n=500$时的346.30。
• 观察到MMD差异（数据与标签偏移）与保真度之间存在负相关：随着偏移增大，保真度下降，尤其在$n$较大时更为明显。
• 结果表明，LIME当前的随机采样策略引发了显著的分布偏移，损害了解释的可靠性，尤其在$n$增大时更为严重。