[论文解读] Explaining Predictions by Approximating the Local Decision Boundary

Georgios Vlassopoulos, Tim van Erven+2 more|arXiv (Cornell University)|Jun 14, 2020

Explainable Artificial Intelligence (XAI)参考文献 39被引用 6

一句话总结

本文提出一种模型无关的方法——局部决策边界近似（DBA），通过在学习到的潜在空间中近似局部决策边界，来解释二分类器的预测结果。该方法结合变分自编码器进行有意义的度量学习和属性感知的潜在表征，实现用户指定的可解释性解释，在图像和表格数据上均优于现有方法。

ABSTRACT

Constructing accurate model-agnostic explanations for opaque machine learning models remains a challenging task. Classification models for high-dimensional data, like images, are often inherently complex. To reduce this complexity, individual predictions may be explained locally, either in terms of a simpler local surrogate model or by communicating how the predictions contrast with those of another class. However, existing approaches still fall short in the following ways: a) they measure locality using a (Euclidean) metric that is not meaningful for non-linear high-dimensional data; or b) they do not attempt to explain the decision boundary, which is the most relevant characteristic of classifiers that are optimized for classification accuracy; or c) they do not give the user any freedom in specifying attributes that are meaningful to them. We address these issues in a new procedure for local decision boundary approximation (DBA). To construct a meaningful metric, we train a variational autoencoder to learn a Euclidean latent space of encoded data representations. We impose interpretability by exploiting attribute annotations to map the latent space to attributes that are meaningful to the user. A difficulty in evaluating explainability approaches is the lack of a ground truth. We address this by introducing a new benchmark data set with artificially generated Iris images, and showing that we can recover the latent attributes that locally determine the class. We further evaluate our approach on tabular data and on the CelebA image data set.

研究动机与目标

• 为解决现有局部解释方法在高维数据（如图像）中难以有意义地衡量局部性的问题。
• 确保解释聚焦于决策边界，而非未经校准的概率估计。
• 为用户提供对解释中所使用属性的控制权，使其可根据领域特定理解定制解释。
• 构建一个包含人工生成的鸢尾花图像的基准，用于评估潜在属性的恢复能力。

提出的方法

• 训练一个条件变分自编码器（CVAE），从高维数据中学习解耦的、欧几里得的潜在空间，以实现有意义的局部距离度量。
• 利用属性注释将潜在空间映射到用户指定的可解释属性，提升解释的相关性。
• 通过找到给定输入在决策边界上的最近点，并在潜在空间中围绕该点采样，来近似局部决策边界。
• 对采样点拟合线性代理模型，以识别特征贡献，其系数可解释为局部解释权重。
• 引入一个新的基准，使用人工生成的鸢尾花图像，用于评估属性恢复和解释保真度。
• 将该方法应用于CelebA和表格数据，在定量和定性评估中与LIME-Att和CEM-MAF进行性能比较。

实验结果

研究问题

• RQ1 学习到的潜在空间是否能为高维数据中的局部性提供比欧几里得距离更有意义的度量？
• RQ2 与基于概率估计的解释相比，聚焦于决策边界是否能提升局部解释的保真度和可解释性？
• RQ3 用户指定的属性是否能被有效学习并用于生成上下文相关的解释？
• RQ4 在受控的合成数据中，该方法在多大程度上能恢复决定分类的真实潜在属性？
• RQ5 在图像和表格数据集上，DBA与LIME-Att和CEM-MAF相比，在解释质量和鲁棒性方面表现如何？

主要发现

• DBA方法成功恢复了用于生成人工鸢尾花图像的真实潜在属性，证明了在受控环境中准确恢复属性的能力。
• 在CelebA数据集上，DBA-Att生成的解释与用户指定的属性一致，可视化结果表明潜在方向的变化产生了预期的面部属性转换。
• VAE实现了高质量的图像重建，重建图像的分类概率与原始输入保持高度接近。
• DBA-Att在生成最小且有意义的扰动方面优于LIME-Att和CEM-MAF，这些扰动仅通过少量变化即跨越决策边界。
• CNN分类器在CelebA上的测试准确率达到91.5%，DBA-Att成功通过潜在空间中最小且可解释的变化对预测结果进行了有效解释。
• 潜在空间插值的使用使得从给定输入平滑过渡到决策边界的可视化成为可能，证实了该方法能够找到最小且相关的改变。