[论文解读] Explaining the Predictions of Any Image Classifier via Decision Trees

Sheng Shi, Xinfeng Zhang+1 more|arXiv (Cornell University)|Nov 4, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用 10

一句话总结

本文提出 Tree-LIME，一种基于决策树的方法，通过生成局部忠实、可解释的模型来解释任意图像分类器的预测结果。与使用线性回归且在捕捉非线性交互作用方面表现不佳的 Linear-LIME 不同，Tree-LIME 能够捕捉复杂的特征交互作用，在解释深度学习模型时实现了更高的忠实度、更好的可理解性以及更快的推理速度。

ABSTRACT

Despite outstanding contribution to the significant progress of Artificial Intelligence (AI), deep learning models remain mostly black boxes, which are extremely weak in explainability of the reasoning process and prediction results. Explainability is not only a gateway between AI and society but also a powerful tool to detect flaws in the model and biases in the data. Local Interpretable Model-agnostic Explanation (LIME) is a recent approach that uses an interpretable model to form a local explanation for the individual prediction result. The current implementation of LIME adopts the linear regression as its interpretable function. However, being so restricted and usually over-simplifying the relationships, linear models fail in situations where nonlinear associations and interactions exist among features and prediction results. This paper implements a decision Tree-based LIME approach, which uses a decision tree model to form an interpretable representation that is locally faithful to the original model. Tree-LIME approach can capture nonlinear interactions among features in the data and creates plausible explanations. Various experiments show that the Tree-LIME explanation of multiple black-box models can achieve more reliable performance in terms of understandability, fidelity, and efficiency.

研究动机与目标

• 为解决 Linear-LIME 在捕捉图像分类器预测中非线性特征交互作用和复杂关系方面的局限性。
• 开发一种模型无关的解释方法，以提升局部忠实度、可理解性和计算效率。
• 利用基于超像素表示的决策树，为黑箱图像分类器提供可解释、人类可读的解释。
• 在多种图像分类模型和数据集上，评估 Tree-LIME 与 Linear-LIME 的性能表现。
• 证明决策树在忠实度和可解释性方面优于线性模型，适用于深度学习预测的局部解释。

提出的方法

• 该方法使用基于超像素的图像表示，为分类器的预测构建一个局部且可解释的输入空间。
• 在给定输入周围的扰动样本上训练回归决策树（CART），以建模黑箱分类器的局部行为。
• 决策树能够捕捉图像特征（超像素）与预测概率之间的非线性交互作用，从而实现分层的、基于规则的解释。
• 通过基尼不纯度减少计算特征重要性，量化每个超像素对预测方差的贡献。
• 通过黑箱模型与 Tree-LIME 代理模型在局部邻域内的预测误差来衡量局部忠实度。
• 该方法具有模型无关性，可应用于任何预训练的图像分类器，包括随机森林和 Inception 网络。

实验结果

研究问题

• RQ1 基于决策树的代理模型是否能在解释图像分类器预测时，相比线性模型提升局部忠实度？
• RQ2 由于能够建模非线性交互作用，Tree-LIME 是否能提供比 Linear-LIME 更直观、更易理解的解释？
• RQ3 在解释生成时间方面，Tree-LIME 的计算效率与 Linear-LIME 相比如何？
• RQ4 Tree-LIME 在多大程度上能够捕捉线性模型无法表达的图像数据中的特征交互作用？
• RQ5 在多种图像分类任务中，Tree-LIME 是否能在降低解释复杂度的同时保持高忠实度，并提升可解释性？

主要发现

• 在 Inception 模型对 'lamp' 类的预测中，Tree-LIME 的预测误差为 0.0476，显著低于 Linear-LIME 的 0.1479，表明其具有更高的局部忠实度。
• 在 MNIST 数据集上，Tree-LIME 的预测误差为 0.0，优于 Linear-LIME 的 0.0529，证明其在局部近似中具有更优的忠实度。
• Tree-LIME 的解释生成速度更快，其在 Inception 模型上对 'lamp' 类的运行时间为 0.0060s，而 Linear-LIME 为 0.0289s，显示出更高的效率。
• 决策树结构显示，特征 0（重要性 0.9416）和特征 3（重要性 0.0402）在 MNIST 中预测 'seven' 时最具影响力，提供了清晰、可解释的洞察。
• Tree-LIME 捕捉到了特征之间的非线性交互作用，例如超像素 28、22 和 30 的共同存在，使 'African chameleon' 的预测概率提升至 0.991。
• 使用决策树使得解释更具直观性，能够提供分层结构，相比基于线性系数的解释，更易于人类理解。