[论文解读] NormGrad: Finding the Pixels that Matter for Training

Sylvestre-Alvise Rebuffi, Ruth Fong+3 more|arXiv (Cornell University)|Oct 19, 2019

Adversarial Robustness in Machine Learning参考文献 8被引用 4

一句话总结

本文提出 NormGrad，一种新颖方法，通过在反向传播过程中计算局部梯度-权重乘积的弗罗贝尼乌斯范数，识别训练深度神经网络时最具影响力的像素。该方法通过 1×1 恒等卷积技巧，在任意网络层实现高分辨率、类别无关的显著性图，并通过元学习方法提升特异性，以分离出与训练相关的关键特征或对抗性扰动。

ABSTRACT

The different families of saliency methods, either based on contrastive signals, closed-form formulas mixing gradients with activations or on perturbation masks, all focus on which parts of an image are responsible for the model's inference. In this paper, we are rather interested by the locations of an image that contribute to the model's training. First, we propose a principled attribution method that we extract from the summation formula used to compute the gradient of the weights for a 1x1 convolutional layer. The resulting formula is fast to compute and can used throughout the network, allowing us to efficiently produce fined-grained importance maps. We will show how to extend it in order to compute saliency maps at any targeted point within the network. Secondly, to make the attribution really specific to the training of the model, we introduce a meta-learning approach for saliency methods by considering an inner optimisation step within the loss. This way, we do not aim at identifying the parts of an image that contribute to the model's output but rather the locations that are responsible for the good training of the model on this image. Conversely, we also show that a similar meta-learning approach can be used to extract the adversarial locations which can lead to the degradation of the model.

研究动机与目标

• 识别在训练过程中对模型权重梯度贡献最大的图像区域，而非仅关注模型推理阶段。
• 开发一种快速、闭式解法，用于计算深度网络所有层的细粒度归因图。
• 通过在损失函数中引入内优化步骤，将方法扩展为对训练过程具有特异性的方法。
• 区分有助于正常训练的像素与导致模型退化的像素，从而实现对抗性位置检测。

提出的方法

• NormGrad 计算每个空间位置上激活梯度与输入特征之间外积的弗罗贝尼乌斯范数，形成像素级重要性图：$\bm{m}_u = \|\bm{g}_u\| \cdot \|\bm{x}'_u\|$。
• 对于通用卷积层，该方法使用 im2row 变换将梯度表示为 $\frac{dh}{dW} = \frac{dh}{dX''} \cdot \iota(\bm{x}')$，从而高效计算局部梯度贡献。
• 在任意网络层插入 1×1 恒等卷积，以实现在任意深度的显著性计算，将该层转换为 1×1 卷积以进行梯度分析。
• 通过将中间激活视为虚拟 1×1 卷积的输入，该方法可推广至任意层，实现无需架构修改的基于梯度的归因。
• 在阶数 1 时，应用元学习方法：在损失函数内引入内优化步骤，以近似 Hessian-向量乘积，使显著性图与训练动态保持特异性。
• 阶数 1 方法使用有限差分和 SGD 近似 Hessian-向量乘积，其中 $\epsilon = 0.0005$ 和 $h = 0.5 / \|\nabla_{\theta'}\ell\|_2$ 为超参数。

实验结果

研究问题

• RQ1 在深度网络的反向传播过程中，哪些图像像素对梯度更新最具影响力？
• RQ2 是否存在一种闭式、高效的方法，可在任意网络层（而不仅最终层）生成高分辨率显著性图？
• RQ3 如何使显著性图与训练过程相关联，而非仅反映模型推理阶段的特征？
• RQ4 同一框架能否通过统一的元学习机制同时检测训练关键像素与对抗性像素？

主要发现

• NormGrad 可在任意网络深度（包括早期层）生成高分辨率显著性图，而 Grad-CAM 仅在深层生成有意义的图。
• 1×1 恒等卷积技巧可实现在任意层的一致显著性计算，即使不使用该技巧，结果仍与原始方法一致。
• 阶数 0 的 NormGrad 方法为类别无关，同等突出正确分类与对抗性分类的像素，因其捕捉了梯度的一般贡献。
• 阶数 1 的元学习扩展可生成类别特定的显著性图：一种突出改善训练的像素，另一种识别导致退化的像素。
• 阶数 0 的 NormGrad 每张图像仅需一次前向-反向传播，效率足够实现实时训练期间的使用。
• 阶数 1 方法需四次前向-反向传播，但仍优于基于扰动的方法（需数百次传播），在速度与分辨率上均表现更优。