[论文解读] Nothing Else Matters: Model-Agnostic Explanations By Identifying Prediction Invariance

Marco Túlio Ribeiro, Sameer Singh+1 more|arXiv (Cornell University)|Nov 17, 2016

Explainable Artificial Intelligence (XAI)参考文献 8被引用 62

一句话总结

本文提出aLIME，一种模型无关的方法，用于生成局部、基于规则的解释（即锚点），识别使模型预测保持不变的特征子集——即其他特征的变化不会影响模型输出。通过使用带有霍夫丁不等式的贪心采样算法，aLIME在文本、图像和视觉问答等模拟与真实任务中，实现了高精度、可解释的解释，并具有清晰的适用范围边界，其表现优于线性LIME。

ABSTRACT

At the core of interpretable machine learning is the question of whether humans are able to make accurate predictions about a model's behavior. Assumed in this question are three properties of the interpretable output: coverage, precision, and effort. Coverage refers to how often humans think they can predict the model's behavior, precision to how accurate humans are in those predictions, and effort is either the up-front effort required in interpreting the model, or the effort required to make predictions about a model's behavior. In this work, we propose anchor-LIME (aLIME), a model-agnostic technique that produces high-precision rule-based explanations for which the coverage boundaries are very clear. We compare aLIME to linear LIME with simulated experiments, and demonstrate the flexibility of aLIME with qualitative examples from a variety of domains and tasks.

研究动机与目标

• 为解决现有模型无关解释方法（如LIME）在覆盖范围明确性和高精度方面的不足。
• 开发一种可生成人类易于理解与应用的直观规则化解释的方法。
• 通过预测不变性确保解释既精确又具有明确定义的适用边界。
• 通过在概率近似正确（PAC）框架下优化简短、高精度的锚点，实现覆盖度、精确度与工作量之间的平衡。
• 在包括文本、图像和视觉问答在内的多种领域中，验证该方法的有效性。

提出的方法

• aLIME将锚点生成为IF-THEN规则，识别在这些规则约束下模型预测保持不变的特征条件。
• 该方法采用贪心搜索策略，选择能最大化精确度的约束条件，精确度通过在锚点条件下的数据分布上进行蒙特卡洛采样估计。
• 应用霍夫丁不等式，确保估计的精确度在用户定义的误差范围（1−ε）内以高概率成立。
• 当当前锚点的精确度超过1−ε时，算法停止，从而保证高可靠性。
• 通过在实例x上条件化数据分布𝒟(z|c,x)，实现上下文相关的采样，提升相关性。
• 该方法采用子模优化（Submodular Pick）技术，高效探索可能的锚点空间。

实验结果

研究问题

• RQ1 我们能否生成具有明确、可解释适用边界的模型无关解释？
• RQ2 我们能否在保持人类解释低工作量的同时，确保解释的高精确度？
• RQ3 如何识别使模型预测对其他特征变化保持不变的特征子集？
• RQ4 基于规则的解释是否能在人类可解释性和精确度方面优于线性近似？
• RQ5 锚点在表格数据、文本、图像和视觉问答等多样化模态中表现如何？

主要发现

• aLIME生成的锚点具有高精确度：在图像分类和视觉问答任务中精确度达到95%或以上。
• 在斑马图像分类任务中，即使将灰度化超像素替换为随机图像，锚点仍保持预测不变。
• 在视觉问答中，锚点揭示了模型偏差——例如，问题中出现'What'时，模型95%的时间预测为'banana'，表明其推理存在缺陷。
• 在词性标注任务中，锚点正确捕捉了句法模式，例如当'play'前有代词时，它被识别为动词。
• 在模拟实验中，aLIME优于线性LIME，表现出更高的精确度和更清晰的适用条件。
• 该方法在多种领域中表现出鲁棒性，包括医院再入院预测和文本分类，且生成的规则简短、可解释。