[论文解读] Explaining Deep Learning Models using Causal Inference

Tanmayee Narendra, Anush Sankaran+2 more|arXiv (Cornell University)|Nov 11, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用 28

一句话总结

本文提出一种基于结构因果模型（SCMs）的因果推断框架，通过反事实干预定量排名卷积神经网络（CNN）中滤波器的重要性。该框架构建了一次性的因果抽象（无需微调），用于预测将滤波器置零后模型性能的变化，在CIFAR-10数据集上SCM预测的准确率最高达到92.4%。

ABSTRACT

Although deep learning models have been successfully applied to a variety of tasks, due to the millions of parameters, they are becoming increasingly opaque and complex. In order to establish trust for their widespread commercial use, it is important to formalize a principled framework to reason over these models. In this work, we use ideas from causal inference to describe a general framework to reason over CNN models. Specifically, we build a Structural Causal Model (SCM) as an abstraction over a specific aspect of the CNN. We also formulate a method to quantitatively rank the filters of a convolution layer according to their counterfactual importance. We illustrate our approach with popular CNN architectures such as LeNet5, VGG19, and ResNet32.

研究动机与目标

• 通过提供一种原则化、因果化的框架来解释CNN行为，以解决深度学习模型的不透明性问题。
• 克服现有显著性方法的局限性，后者无法回答关于模型组件的“如果……会怎样”或反事实问题。
• 在不重新训练模型的前提下，对CNN中滤波器的重要性进行定量排序。
• 使用模型准确率作为度量标准，验证因果抽象的保真度，确保其与原始DNN行为的一致性。
• 展示该框架在模型压缩、迁移学习和超参数预测中的实用性，且无需重新训练。

提出的方法

• 构建一个结构因果模型（SCM），作为CNN滤波器响应的抽象，使用特征图的Frobenius范数作为充分统计量。
• 使用线性回归近似SCM中的结构方程，建模滤波器响应与模型准确率之间的关系。
• 通过将特定滤波器的Frobenius范数设为零，执行反事实干预，并测量由此导致的准确率下降。
• 根据其对准确率的影响对滤波器进行排序：干预后准确率下降越多，表明该滤波器越重要。
• 通过比较SCM预测的准确率下降与原始DNN在滤波器移除后实际观察到的下降，验证SCM的有效性。
• 采用二值化变换和Frobenius范数变换，探索不同抽象层次，最终选择后者因其表现更优。

实验结果

研究问题

• RQ1 如何利用因果推断来解释CNN中单个滤波器对模型预测的影响？
• RQ2 在不重新训练的情况下，结构因果模型（SCM）能否准确预测移除CNN中某个滤波器后的性能下降？
• RQ3 在VGG19、ResNet32和LeNet5等CNN中，不同层滤波器的相对重要性如何？
• RQ4 不同的变换方法（如二值化与Frobenius范数）如何影响因果抽象的保真度？
• RQ5 所学习的SCM能否用于预测模型在结构变化（如剪枝或超参数调整）下的行为，而无需重新训练？

主要发现

• SCM在CIFAR-10数据集上对VGG19模型的测试准确率达到0.924，表明其与原始DNN具有高度保真度。
• Frobenius范数变换优于二值化变换，后者因信息过度损失导致准确率低于随机水平。
• 深层滤波器（如Conv2D 9）对移除更为敏感，VGG19中排名靠前的滤波器（如309、162和373）导致显著的准确率下降。
• 该方法成功利用准确率下降作为度量标准，对滤波器重要性进行排序，最不重要的滤波器对性能影响最小。
• 该框架可在不重新训练的情况下预测结构变化（如滤波器移除）后的模型性能，展示了其在模型压缩和超参数搜索中的实用性。
• 该方法具有跨架构泛化能力，在LeNet5、VGG19和ResNet32上均成功应用，且在CIFAR-10上表现一致。