[论文解读] Debugging Tests for Model Explanations

Adebayo, Julius, Michael Muelly+2 more|arXiv (Cornell University)|Nov 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 63被引用 7

一句话总结

本文通过在三种污染类型——数据、模型和推理时——引入针对性的调试测试，评估事后模型解释在诊断模型错误方面的效果。研究发现，显著性方法能检测出虚假的背景关联，但无法可靠识别错误标注的样本或模型污染，尤其是在反向传播被修改时；人类受试者在缺陷检测中更依赖模型预测而非解释。

ABSTRACT

We investigate whether post-hoc model explanations are effective for diagnosing model errors--model debugging. In response to the challenge of explaining a model's prediction, a vast array of explanation methods have been proposed. Despite increasing use, it is unclear if they are effective. To start, we categorize extit{bugs}, based on their source, into:~ extit{data, model, and test-time} contamination bugs. For several explanation methods, we assess their ability to: detect spurious correlation artifacts (data contamination), diagnose mislabeled training examples (data contamination), differentiate between a (partially) re-initialized model and a trained one (model contamination), and detect out-of-distribution inputs (test-time contamination). We find that the methods tested are able to diagnose a spurious background bug, but not conclusively identify mislabeled training examples. In addition, a class of methods, that modify the back-propagation algorithm are invariant to the higher layer parameters of a deep network; hence, ineffective for diagnosing model contamination. We complement our analysis with a human subject study, and find that subjects fail to identify defective models using attributions, but instead rely, primarily, on model predictions. Taken together, our results provide guidance for practitioners and researchers turning to explanations as tools for model debugging.

研究动机与目标

• 评估事后模型解释是否能有效诊断深度学习系统中的模型错误。
• 将模型错误分类为数据、模型和推理时污染，以实现系统性评估。
• 评估不同解释方法在各类模型缺陷中的诊断能力。
• 探究人类用户是否能在实际中利用解释识别缺陷模型。
• 为研究人员和实践者提供关于解释在模型调试中可靠性方面的实用指导。

提出的方法

• 将模型错误分为三类：数据污染（如虚假相关性、错误标注样本）、模型污染（如权重重初始化）和推理时污染（如分布外输入）。
• 设计针对性的调试测试，评估解释方法检测各类错误的能力。
• 在这些测试中应用多种解释方法，包括显著性图、Grad-CAM以及基于反向传播的技术。
• 通过人类受试者实验，评估用户是否能通过解释识别缺陷模型，或更依赖模型预测。
• 分析某些解释方法（如修改反向传播的算法）的不变性特性，以解释其在检测模型级错误时的失败原因。
• 对比已知缺陷模型的解释输出，评估其一致性与诊断效用。

实验结果

研究问题

• RQ1 事后解释方法能否检测出模型预测中的虚假相关性伪影？
• RQ2 解释方法是否能有效识别错误标注的训练样本（即数据污染的一种形式）？
• RQ3 解释方法能否诊断模型级污染，如网络权重的部分重初始化？
• RQ4 解释方法能否在推理阶段检测出分布外输入（即推理时污染）？
• RQ5 人类用户能否有效利用模型解释识别缺陷模型，还是主要依赖模型预测？

主要发现

• 基于显著性的解释方法能成功检测出虚假背景关联，表明其对数据污染具有一定的诊断能力。
• 即使数据集中存在错误标注的训练样本，解释方法也无法明确识别出这些错误。
• 修改反向传播算法的解释方法对高层网络参数具有不变性，导致其在检测模型级污染时无效。
• 人类受试者研究表明，参与者在检测缺陷模型时并不依赖解释，而是主要依赖模型预测。
• 研究揭示了理论上的解释效用与实际应用中可用性之间的脱节，尤其在模型调试任务中更为明显。
• 总体而言，解释方法在诊断模型错误方面可靠性有限，尤其在数据和模型污染方面，超出简单虚假相关性的情况。