[论文解读] Improving Feature Attribution through Input-specific Network Pruning

Ashkan Khakzar, Soroosh Baselizadeh+4 more|arXiv (Cornell University)|Nov 25, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用 6

一句话总结

本文提出了一种输入特定的网络剪枝方法，通过将噪声较多的基于梯度的解释结果精炼为全局有意义的重要性图，以改进深度神经网络中的特征归因。通过在一次反向传播中剪枝单个输入的无关神经元，该方法揭示了更准确、更细粒度的归因图，其在包括ROAR、像素扰动和合理性检查在内的多个基准测试中均优于现有方法。

ABSTRACT

Attributing the output of a neural network to the contribution of given input elements is a way of shedding light on the black-box nature of neural networks. Due to the complexity of current network architectures, current gradient-based attribution methods provide very noisy or coarse results. We propose to prune a neural network for a given single input to keep only neurons that highly contribute to the prediction. We show that by input-specific pruning, network gradients change from reflecting local (noisy) importance information to global importance. Our proposed method is efficient and generates fine-grained attribution maps. We further provide a theoretical justification of the pruning approach relating it to perturbations and validate it through a novel experimental setup. Our method is evaluated by multiple benchmarks: sanity checks, pixel perturbation, and Remove-and-Retrain (ROAR). These benchmarks evaluate the method from different perspectives and our method performs better than other methods across all evaluations.

研究动机与目标

• 解决基于梯度的归因方法的局限性，后者由于复杂的网络架构而产生噪声多或局部的重要性估计。
• 通过输入特定的剪枝，将局部梯度信号转化为全局重要性表示，从而提高归因图的保真度。
• 建立输入特定剪枝与对抗性扰动之间的理论联系，以证明该方法的有效性。
• 利用多个定量基准对所提方法进行全面评估，以确保其鲁棒性和可靠性。
• 证明剪枝在保持计算效率的同时，可增强归因图的可解释性。

提出的方法

• 通过在单次反向传播中移除对单个输入预测贡献较低的神经元，实施输入特定的剪枝。
• 在剪枝后的网络上计算梯度，以生成反映全局重要性而非局部噪声的归因图。
• 基于神经元激活幅度设定剪枝阈值，仅保留与当前输入最相关的神经元。
• 通过数学公式将剪枝网络的梯度与对抗性扰动关联，表明梯度近似于最优扰动。
• 利用Remove-and-Retrain（ROAR）基准定量验证所归因的特征是否真正对模型预测有贡献。
• 通过在通道上求和绝对梯度，可视化中间层的归因，从而实现对高维神经元级重要性的解释。

实验结果

研究问题

• RQ1 输入特定的剪枝能否将噪声较多的局部梯度转化为具有全局意义的特征归因？
• RQ2 与标准的基于梯度的方法相比，对单个输入进行剪枝如何影响归因图的质量和可解释性？
• RQ3 剪枝网络的梯度在多大程度上近似于能最大化预测变化的最优对抗性扰动？
• RQ4 所提方法是否在包括ROAR和像素扰动在内的多个定量基准上优于现有归因技术？
• RQ5 剪枝能否帮助揭示对抗性扰动是否确实基于重要模型特征，而非虚假激活？

主要发现

• 所提出的PruneGrad方法在多个数据集（包括BirdSnap和CIFAR-10）的ROAR基准上实现了最先进性能。
• PruneGrad与PrunePGD（在剪枝网络上使用投影梯度下降）的ROAR得分几乎完全一致，验证了剪枝网络上的梯度是最佳扰动的紧密近似。
• 随着剪枝程度增加，剪枝网络上的对抗性扰动更倾向于反映重要特征，证实剪枝去除了无关路径并优化了归因。
• 该方法通过了所有合理性检查，表明归因对模型权重敏感，而非随机化导致的伪影。
• 像素扰动结果表明，PruneGrad突出的特征在被移除后会导致预测置信度最大下降，证实其具有高保真度。
• 在ResNet-50和VGG-16上的可视化结果表明，与标准梯度方法相比，PruneGrad生成的归因图更准确、更详细，尤其在深层网络中表现更优。