[论文解读] Explaining Bayesian Neural Networks

Kirill Bykov, Marina Höhne+5 more|arXiv (Cornell University)|Aug 23, 2021

Anomaly Detection Techniques and Applications参考文献 82被引用 15

一句话总结

本文提出不确定性感知重要性（UAI），一种新颖方法，通过生成解释分布而非单一热图来解释贝叶斯神经网络（BNNs）。通过平均后验样本的显著性图，UAI 同时捕捉特征重要性和解释中的不确定性，支持通过可调参数 𝛼 实现风险规避的解释，实验表明该方法在合成数据、基准数据集和真实世界病理学数据上均提升了鲁棒性，并深化了对模型行为的理解。

ABSTRACT

To advance the transparency of learning machines such as Deep Neural Networks (DNNs), the field of Explainable AI (XAI) was established to provide interpretations of DNNs' predictions. While different explanation techniques exist, a popular approach is given in the form of attribution maps, which illustrate, given a particular data point, the relevant patterns the model has used for making its prediction. Although Bayesian models such as Bayesian Neural Networks (BNNs) have a limited form of transparency built-in through their prior weight distribution, they lack explanations of their predictions for given instances. In this work, we take a step toward combining these two perspectives by examining how local attributions can be extended to BNNs. Within the Bayesian framework, network weights follow a probability distribution; hence, the standard point explanation extends naturally to an explanation distribution. Viewing explanations probabilistically, we aggregate and analyze multiple local attributions drawn from an approximate posterior to explore variability in explanation patterns. The diversity of explanations offers a way to further explore how predictive rationales may vary across posterior samples. Quantitative and qualitative experiments on toy and benchmark data, as well as on a real-world pathology dataset, illustrate that our framework enriches standard explanations with uncertainty information and may support the visualization of explanation stability.

研究动机与目标

• 为解决尽管贝叶斯神经网络（BNNs）具备内置的不确定性量化能力，却缺乏实例级解释方法的问题。
• 弥合 BNN 模型透明性与标准 DNN 中使用的局部解释方法之间的差距。
• 开发一种实用且可扩展的框架，为 BNN 预测生成不确定性感知的解释。
• 通过可调参数 𝛼，使用户能够在交集（风险规避）或并集（包容性）解释之间进行选择。
• 在多样化数据集（包括真实世界组织病理学图像）上验证该方法，以证明其在揭示模型系统性行为和人工制品方面的有效性。

提出的方法

• 该方法通过从后验分布中采样多个权重配置，将局部解释技术（如 LRP）扩展至 BNN。
• 对每个后验样本，使用标准解释方法（如逐层显著性传播，LRP）计算显著性图。
• 由此生成的显著性图集合构成一个解释分布，捕捉不同网络配置下特征重要性的变化。
• 通过由超参数 𝛼 控制的加权方案对这些图进行平均，计算不确定性感知解释（UAI）。
• 参数 𝛼 允许用户调节解释：低 𝛼 强调在多个样本中始终重要的特征（交集），高 𝛼 包含任意正显著性的特征（并集）。
• 计算复杂度与后验样本数量呈线性关系，100 个样本已被证明足以实现稳定的不确定性估计。

实验结果

研究问题

• RQ1 鉴于 BNN 具备固有的预测分布，如何生成有意义且具备不确定性感知的解释？
• RQ2 超参数 𝛼 的变化对解释的可解释性和鲁棒性有何影响？
• RQ3 UAI 是否能够区分真实模型行为与虚假相关性（如数据集人工制品或“聪明汉斯”行为）？
• RQ4 与基于均值的标准解释基线相比，UAI 在可靠性与洞察力方面表现如何？
• RQ5 UAI 在多大程度上能揭示 BNN 中固有的多种异质性预测策略？

主要发现

• UAI 有效生成反映特征重要性与不确定性的解释分布，从而实现对 BNN 预测更丰富且更鲁棒的解释。
• 当 𝛼 值较高时，UAI 揭示了在至少一小部分采样网络配置下相关的特征，捕捉到更多样化且包容性更强的解释。
• 当 𝛼 值较低时，UAI 识别出在多个样本中始终重要的特征，提供风险规避的、基于交集的解释。
• 在 Pascal VOC 2007 数据集上，UAI 正确识别出水印人工制品是导致‘马’分类的主要驱动因素，证明其具备检测系统性模型偏差的能力。
• 在组织病理学数据上的实验表明，与标准均值基线相比，UAI 提供了更细致且更可信的解释，尤其在识别高/低预测置信度区域方面表现更优。
• 该方法在仅使用 100 个后验样本时即可实现稳定的不确定性估计，表明其在真实世界部署中的实际可行性。