[论文解读] Explaining Deep Neural Networks Using Spectrum-Based Fault Localization

Youcheng Sun, Hana Chockler+2 more|arXiv (Cornell University)|Aug 6, 2019

Adversarial Robustness in Machine Learning参考文献 52被引用 4

一句话总结

本文提出 DeepCover，一种新颖方法，利用软件工程中的基于谱的故障定位（SFL）技术，通过识别最小且相关的输入特征来解释深度神经网络（DNN）的决策。该方法在具有真实标签的基准测试中取得了 76.7% 的准确率，优于当前最先进的方法（如 GradCAM、LIME、SHAP、RISE 和 Extremal），准确率高出 6%，达到 70.7%。

ABSTRACT

The black-box nature of deep neural networks (DNNs) makes it impossible to understand why a particular output is produced, creating demand for Explainable AI. In this paper, we show that statistical fault localization (SFL) techniques from software engineering deliver high quality explanations of the outputs of DNNs, where we define an explanation as a minimal subset of features sufficient for making the same decision as for the original input. We present an algorithm and a tool called DeepCover, which synthesizes a ranking of the features of the inputs using SFL and constructs explanations for the decisions of the DNN based on this ranking. We compare explanations produced by DeepCover with those of the state-of-the-art tools GradCAM, LIME, SHAP, RISE and Extremal and show that explanations generated by DeepCover are consistently better across a broad set of experiments. On a benchmark set with known ground truth, DeepCover achieves 76.7% accuracy, which is 6% better than the second best Extremal.

研究动机与目标

• 为解决深度神经网络（DNN）可解释性不足的问题，该问题阻碍了真实世界 AI 应用中的信任与调试。
• 开发一种方法，通过识别足以支持 DNN 预测的最小输入特征集合，生成最小且高质量的解释。
• 通过借鉴软件工程中的统计故障定位技术，改进现有可解释性工具。
• 在具有真实标签的基准上评估该方法，并与当前最先进的可解释性工具进行全面比较。

提出的方法

• DeepCover 将基于谱的故障定位（SFL）应用于 DNN 输入，将误分类样本视为‘故障’，将特征视为潜在原因。
• 构建一个谱矩阵，其中每一行代表一个特征，每一列代表一个测试输入，矩阵中的数值表示特征在不同输入中的激活模式。
• SFL 算法基于特征与错误预测共现的频率，为每个特征计算可疑度得分，按其对错误的贡献程度对特征进行排序。
• 选择排名靠前的特征作为解释，形成足以重现 DNN 输出决策的最小特征子集。
• 通过选择可疑度得分最高的特征来合成解释，确保生成的特征集合最小且相关。
• 该工具可集成至 DNN 推理流水线中，自动为任意输入生成解释，无需重新训练模型。

实验结果

研究问题

• RQ1 基于谱的故障定位（SFL）能否有效适配以解释深度神经网络（DNN）的决策？
• RQ2 基于 SFL 的方法生成的解释质量与当前最先进的可解释性工具（如 GradCAM、LIME、SHAP、RISE 和 Extremal）相比如何？
• RQ3 在具有真实标签的基准上，基于 SFL 的方法是否能生成比现有方法更准确且更小的解释？
• RQ4 基于 SFL 的解释是否能在多种数据集和网络架构上持续优于其他方法？

主要发现

• 在具有真实标签的基准测试中，DeepCover 在识别 DNN 预测正确输入特征方面达到了 76.7% 的准确率，显著优于次佳方法 Extremal 的 70.7%。
• 在所有评估的数据集和模型上，基于 SFL 的方法生成的解释在一致性和质量上均优于 GradCAM、LIME、SHAP 和 RISE。
• DeepCover 生成的解释始终更简洁，聚焦于足以重现模型决策的最小特征集合。
• 该方法在不同网络架构和数据集上表现出强鲁棒性，无需架构修改或重新训练即可保持高性能。
• SFL 的使用实现了对显著特征的精确识别，减少了梯度法或扰动法中常见的噪声和无关贡献。
• 结果证实，软件工程中的 SFL 技术在解释 DNN 行为方面极为有效，为可解释 AI 提供了一种新颖且可靠的范式。