[论文解读] Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation

Mathilde Guillemot, Catherine Heusèle+3 more|arXiv (Cornell University)|Feb 24, 2020

Explainable Artificial Intelligence (XAI)参考文献 22被引用 16

一句话总结

本文提出一种将批量归一化（BN）层整合到逐层重要性传播（LRP）中的方法，以提升深度神经网络的可解释性。通过将BN与前序的卷积层或全连接层融合为单一等效层，该方法实现了精确的重要性反向传播，从而生成更精确且局部化程度更高的热力图——尤其在MNIST和CIFAR-10数据集上的卷积网络中表现优异，但在包含BN的全连接架构中仍存在局限性。

ABSTRACT

The lack of transparency of neural networks stays a major break for their use. The Layerwise Relevance Propagation technique builds heat-maps representing the relevance of each input in the model s decision. The relevance spreads backward from the last to the first layer of the Deep Neural Network. Layer-wise Relevance Propagation does not manage normalization layers, in this work we suggest a method to include normalization layers. Specifically, we build an equivalent network fusing normalization layers and convolutional or fully connected layers. Heatmaps obtained with our method on MNIST and CIFAR 10 datasets are more accurate for convolutional layers. Our study also prevents from using Layerwise Relevance Propagation with networks including a combination of connected layers and normalization layer.

研究动机与目标

• 为解决使用批量归一化（BN）层的深度神经网络缺乏透明性的问题。
• 克服标准LRP在处理归一化层时的局限性，这些层通常被跳过或忽略。
• 开发一种方法，将BN层正确整合到LRP中，以实现更精确和可靠的贡献度分配。
• 利用标准基准（MNIST和CIFAR-10）及多种架构，评估BN整合对可解释性的影响。
• 探究当BN与全连接层结合时，LRP是否仍具有效性，尤其关注贡献度图可能存在的不稳定性。

提出的方法

• 作者推导出批量归一化与前序卷积层或全连接层的数学融合方法，构建一个保持网络前向传播特性的单一等效层。
• 对于在激活前应用BN的情况，该方法推导出层参数的闭式变换，实现通过融合层直接进行重要性传播。
• 对于在激活后应用BN的情况，该方法同样推导出参数变换，以维持计算图结构，确保反向重要性流动的连续性。
• 将融合层集成到LRP传播过程中，取代原始BN层，从而实现从输出到输入的精确重要性分配。
• 该方法可扩展至其他归一化层，如InstanceNorm或LayerNorm，表明其具备良好的通用性。
• 在MNIST和CIFAR-10上通过定性评估验证了该方法，涵盖BN位于激活前或后的卷积网络与全连接网络。

实验结果

研究问题

• RQ1 能否在LRP框架中正确整合批量归一化层，以提升可解释性？
• RQ2 在卷积网络与全连接网络中，BN层的引入如何影响LRP热力图的质量与定位精度？
• RQ3 将BN与卷积层或全连接层融合后，其贡献度分配是否比在LRP中跳过BN更准确？
• RQ4 在包含批量归一化的全连接网络中，应用LRP的主要局限性是什么？
• RQ5 所提方法在背景复杂度与目标-背景颜色对比度各异的数据集上的表现如何变化？

主要发现

• 在卷积网络中，采用所提BN整合方法的LRP能更准确地突出显示目标边缘与轮廓，优于跳过BN的基线方法。
• 在MNIST数据集中，LRP过程中包含BN可更精确地定位数字环状结构内部的像素（如'0'或'9'），减少对内部像素的过度强调。
• 在CIFAR-10数据集中，采用该方法生成的热力图在目标与背景之间展现出显著更高的对比度，尤其在背景与目标颜色相近时表现更优。
• 当背景非均匀时，采用BN整合的LRP优于基线方法（跳过BN）和无BN模型，生成的贡献度图更具一致性。
• 在全连接网络中，无论BN位于激活前或后，贡献度图均保持不稳定且无法使用，表明LRP与BN在该架构中存在不兼容性。
• 结果表明，BN整合的优势在复杂输入场景中更为显著，说明该方法在现实世界中高变异性数据中更具实用性。