[论文解读] Evaluating Explainers via Perturbation

Minh N. Vu, Truc Nguyen+3 more|arXiv (Cornell University)|Jun 5, 2019

Explainable Artificial Intelligence (XAI)参考文献 7被引用 15

一句话总结

本文提出了 c-Eval，一种新颖的度量方法，通过测量在保持解释特征不变的前提下改变模型预测所需的最小扰动能量，来量化基于特征的图像分类器解释器的质量。该方法将扰动强度与解释保真度关联起来，并使用 c-Eval 图表实现跨多个数据集的低复杂度、全面评估。

ABSTRACT

Due to high complexity of many modern machine learning models such as deep convolutional networks, understanding the cause of model’s prediction is critical. Many explainers have been designed to give us more insights on the decision of complex classifiers. However, there is no common ground on evaluating the quality of different classification methods. Motivated by the needs for comprehensive evaluation, we introduce the c-Eval metric and the corresponding framework to quantify the explainer’s quality on feature-based explainers of machine learning image classifiers. Given a prediction and the corresponding explanation on that prediction, c-Eval is the minimum-power perturbation that successfully alters the prediction while keeping the explanation’s features unchanged. We also provide theoretical analysis linking the proposed parameter with the portion of predicted ob- ject covered by the explanation. Using a heuristic approach, we introduce the c-Eval plot, which not only displays a strong connection between c-Eval and explainers’ quality, but also serves as a low-complexity approach of assessing explainers. We finally conduct extensive experiments of explainers on three different datasets in order to support the adoption of c-Eval in evaluating explainers’ performance.

研究动机与目标

• 解决复杂图像分类器中基于特征的解释器缺乏标准化评估框架的问题。
• 开发一种可量化衡量解释器质量的度量方法，基于其对输入扰动的鲁棒性。
• 建立扰动强度与解释所覆盖预测目标部分之间的理论联系。
• 提供一种实用的、低复杂度的评估工具——c-Eval 图表，用于在不同模型和数据集之间比较解释器。

提出的方法

• c-Eval 定义为在保持解释特征不变的前提下，使模型预测发生改变的最小能量扰动。
• 该方法采用启发式优化方法，计算给定输入和解释下的 c-Eval 值。
• 理论分析将 c-Eval 与解释所覆盖的预测目标部分联系起来，建立了扰动强度与解释保真度之间的关联。
• 引入 c-Eval 图表作为可视化工具，通过在多个输入上绘制 c-Eval 值，揭示解释器性能的趋势。
• 该框架被应用于三个不同图像分类数据集，以验证其泛化能力。
• 该方法无需依赖真实解释，仅通过扰动行为即可实现解释器之间的比较。

实验结果

研究问题

• RQ1 在缺乏真实解释的情况下，如何客观衡量基于特征的图像分类器解释器的质量？
• RQ2 改变预测所需的最小扰动与解释保真度之间存在何种关系？
• RQ3 c-Eval 图表能否有效揭示不同模型和数据集之间解释器性能的差异？
• RQ4 c-Eval 与解释所覆盖的预测目标部分之间相关性如何？
• RQ5 c-Eval 是否是一种可扩展且适用于真实机器学习应用中解释器评估的实用度量？

主要发现

• c-Eval 提供了一种稳健且客观的解释器评估度量，无需依赖真实解释。
• c-Eval 值与解释保真度之间存在强相关性，c-Eval 值越高，表示解释越可靠。
• c-Eval 图表能有效可视化不同解释器之间的性能差异，实现对不同模型和数据集的快速比较。
• 理论分析证实，c-Eval 与解释所覆盖的预测目标部分成正比。
• 在三个数据集上的大量实验表明，c-Eval 的解释器排序结果与人类评估趋势一致。
• 该方法计算效率高且可扩展，适用于实际中对解释器的常规评估。