[论文解读] How Much Can I Trust You? -- Quantifying Uncertainties in Explaining Neural Networks

Kirill Bykov, Marina Höhne+3 more|arXiv (Cornell University)|Jun 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 37被引用 18

一句话总结

本文提出 B-LRP，一种新颖的框架，通过将任意现有解释方法（如 LRP）适配至贝叶斯神经网络（BNNs），量化神经网络解释中的不确定性。通过从 BNN 的后验分布中采样，B-LRP 生成解释的分布，从而实现基于分位数的置信水平（例如，5% 分位数用于保守解释），显著减少显著性图中的虚假相关性，并提升在安全关键应用中的可靠性。

ABSTRACT

Explainable AI (XAI) aims to provide interpretations for predictions made by learning machines, such as deep neural networks, in order to make the machines more transparent for the user and furthermore trustworthy also for applications in e.g. safety-critical areas. So far, however, no methods for quantifying uncertainties of explanations have been conceived, which is problematic in domains where a high confidence in explanations is a prerequisite. We therefore contribute by proposing a new framework that allows to convert any arbitrary explanation method for neural networks into an explanation method for Bayesian neural networks, with an in-built modeling of uncertainties. Within the Bayesian framework a network's weights follow a distribution that extends standard single explanation scores and heatmaps to distributions thereof, in this manner translating the intrinsic network model uncertainties into a quantification of explanation uncertainties. This allows us for the first time to carve out uncertainties associated with a model explanation and subsequently gauge the appropriate level of explanation confidence for a user (using percentiles). We demonstrate the effectiveness and usefulness of our approach extensively in various experiments, both qualitatively and quantitatively.

研究动机与目标

• 解决现有深度神经网络解释方法中缺乏不确定性量化的问题。
• 通过在解释中建模不确定性，实现信任感知的解释，特别是在安全关键领域。
• 将任意现有解释方法（如 LRP）扩展至与贝叶斯神经网络兼容，生成概率性解释输出。
• 为用户提供可调节的置信度水平（通过分位数实现），以提升解释的可靠性，例如在高谨慎决策中使用 5% 分位数。
• 通过实证验证，不确定性感知的解释可减少显著性图中的误报，提升保真度与可信度。

提出的方法

• 通过从 BNN 后验分布中进行知识蒸馏，将不确定性从贝叶斯神经网络（BNNs）传递至任意现有解释方法。
• 对每个输入，通过蒙特卡洛 dropout 或后验采样执行多次前向传播，生成解释分数的分布（如相关性图）。
• 利用所得的解释分布计算分位数（如 5%、50%、95%），实现风险调整的解释——较低分位数产生更保守、更可靠的区域。
• 该框架应用于 LRP，得到 B-LRP，其输出为相关性图的分布，而非单一热力图。
• 不确定性以空间方式可视化，突出显示高置信度区域（红色）和低置信度区域（蓝色），例如消除对无关物体（如煤气灯）的虚假相关性。
• 该方法具有通用性，兼容任意模型无关或模型相关的解释方法，以及任意近似推理方法在 BNN 中的应用。

实验结果

研究问题

• RQ1 我们能否量化神经网络解释中的不确定性？当前的解释方法通常被视为确定性，可能具有误导性。
• RQ2 如何将现有解释方法（如 LRP）适配为利用贝叶斯神经网络生成不确定性感知的输出？
• RQ3 基于分位数的解释阈值（如 5% 分位数）在多大程度上可通过过滤显著性图中的虚假相关性来提升可靠性？
• RQ4 不确定性感知的解释是否能提升在标准评估基准（如像素翻转或特征重要性排序）中的性能？
• RQ5 该方法能否通过仅突出最确定的特征，减少模型依赖数据中虚假特征（如‘聪明汉斯’效应）的影响？

主要发现

• 在 MNIST 数据集的像素翻转评估中，5% 分位数的 B-LRP 解释优于标准 LRP，能正确识别出 x ≤ 12 时最相关的 x% 像素。
• 在 ImageNet 上，5% 分位数的 B-LRP 解释仅将相关性分配给城堡对象，成功消除了对煤气灯柱的虚假相关性，而标准 LRP 则未能做到。
• 高置信度（5% 分位数）解释在视觉和定量上均更准确，证实了虚假相关性的减少与保真度的提升。
• B-LRP 有效揭示了‘聪明汉斯’效应：显示标准 LRP 将相关性错误地分配给训练数据中存在的伪影（如煤气灯）。
• 使用 100 个后验样本可为粗粒度分位数分析提供稳定的不确定性估计，但更精细的分位数（如 1%）需要更多样本。
• 该方法具有通用性，可应用于任意解释方法和 BNN 推理技术，支持在多样化应用场景中实现风险调整的解释。