[论文解读] Defining Locality for Surrogates in Post-hoc Interpretablity

Thibault Laugel, Xavier Renard+3 more|arXiv (Cornell University)|Jun 19, 2018

Explainable Artificial Intelligence (XAI)参考文献 5被引用 46

一句话总结

该论文表明本地采样在局部代理解释的保真度方面具有关键影响，并在决策边界周围引入 Local Surrogate (LS) 采样，以提升在多数据集上的本地解释相对于 LIME 的表现。

ABSTRACT

Local surrogate models, to approximate the local decision boundary of a black-box classifier, constitute one approach to generate explanations for the rationale behind an individual prediction made by the back-box. This paper highlights the importance of defining the right locality, the neighborhood on which a local surrogate is trained, in order to approximate accurately the local black-box decision boundary. Unfortunately, as shown in this paper, this issue is not only a parameter or sampling distribution challenge and has a major impact on the relevance and quality of the approximation of the local black-box decision boundary and thus on the meaning and accuracy of the generated explanation. To overcome the identified problems, quantified with an adapted measure and procedure, we propose to generate surrogate-based explanations for individual predictions based on a sampling centered on particular place of the decision boundary, relevant for the prediction to be explained, rather than on the prediction itself as it is classically done. We evaluate the novel approach compared to state-of-the-art methods and a straightforward improvement thereof on four UCI datasets.

研究动机与目标

• 说明为何局部性对单个预测的局部代理解释至关重要。
• 证明标准采样（如 LIME）可能使局部影响特征被遮蔽。
• 提出一种以决策边界为目标的采样策略以提高局部保真度。
• 在合成数据与真实数据集上证明 LS 相较于 LIME 的局部保真度有所提升。

提出的方法

• 描述局部代理的三步过程：采样训练空间、拟合一个可解释的代理模型、提取解释。
• 分析 LIME 的采样与加权方案，展示其可能强调全局特征而非局部特征。
• 引入 Local Surrogate (LS)：使用 GrowingSpheres 检测最近的决策边界点，然后在该边界周围进行采样以训练代理。
• 将 Local Fidelity 定义为在半径 r_fid 的局部邻域内，代理 b(x) 与 s_x 的准确性。
• 在合成数据（半月形）和四个 UCI 数据集上以 Local Fidelity 作为评价指标比较 LS 与 LIME 及 LIME-K。
• 报告 LS 在跨数据集上的 Local Fidelity 更高。

实验结果

研究问题

• RQ1 训练局部代理时所用的邻域定义如何影响对黑箱决策边界的近似准确性？
• RQ2 直接在决策边界周围采样是否能提升解释的局部保真度，相比全局或实例为中心的采样？
• RQ3 在多样数据集上，用边界聚焦采样训练的局部代理是否优于基于 LIME 的标准方法？

主要发现

• 当采样强调全局特征而非局部特征时，代理解释的局部保真度会下降。
• LIME 的标准采样可能产生与全局模式对齐而非真实局部边界的决策边界。
• 以边界为中心的采样策略（LS）提高了局部保真度并产生更忠实的局部解释。
• 在所有数据集上，LS 以更高的平均局部保真度（AUC）且方差更低，优于 LIME 和 LIME-K。
• 在所报告的表格中，LS 在局部保真度方面始终优于其他方法。
• 该方法在半月形数据和四个 UCI 数据集（Breast Cancer、Default of Credit Card Clients、Online News Popularity、Tennis）上得到验证。