[论文解读] First-order Adversarial Vulnerability of Neural Networks and Input Dimension

Carl-Johann Simon-Gabriel, Yann Ollivier+3 more|arXiv (Cornell University)|Feb 5, 2018

Adversarial Robustness in Machine Learning被引用 62

一句话总结

论文表明对抗性脆弱性在初始化时随输入维度的平方根增长，并在很大程度上保持为一阶关系，将梯度范数与跨架构和训练范式的脆弱性联系起来。

ABSTRACT

Over the past few years, neural networks were proven vulnerable to adversarial images: targeted but imperceptible image perturbations lead to drastically different predictions. We show that adversarial vulnerability increases with the gradients of the training objective when viewed as a function of the inputs. Surprisingly, vulnerability does not depend on network topology: for many standard network architectures, we prove that at initialization, the $\ell_1$-norm of these gradients grows as the square root of the input dimension, leaving the networks increasingly vulnerable with growing image size. We empirically show that this dimension dependence persists after either usual or robust training, but gets attenuated with higher regularization.

研究动机与目标

• 解释为何对抗性脆弱性会随输入维度增加而与网络拓扑无关。
• 将对抗性损害与损失梯度及一阶近似联系起来。
• 评估训练（常规与鲁棒）如何影响维度相关的脆弱性。
• 提出并关联梯度正则化与对抗性增强作为防御手段。
• 评估一阶模型在不同架构和训练设置下的实证有效性。

提出的方法

• 通过对损失在攻击扰动下的一阶泰勒展开，将对抗性损害与梯度范数相关联。
• 证明在初始化时，损失梯度的对偶范数随输入维度增长，从而产生 sqrt(d) 的脆弱性。
• 显示在常见架构中，使用 He 初始化时，梯度范数在很大程度上独立于网络拓扑。
• 展示对抗性增强（FGSM/PGD）与梯度正则化（双反向传播）之间的对偶关系，作为一阶近似。
• 在 CIFAR-10 上对不同正则化强度和攻击范数进行经验验证以检验预测。
• 讨论正则化（如 PGD 正则化）在减弱维度依赖中的作用。

实验结果

研究问题

• RQ1 对抗性脆弱性是否与输入维度相关，同时与网络拓扑无关？
• RQ2 损失对输入的梯度范数如何在不同架构中与对抗性脆弱性相关？
• RQ3 梯度正则化或对抗性增强是否能缓解脆弱性-维度的权衡，它们之间有何比较？
• RQ4 训练（常规 vs 鲁棒）如何影响梯度范数的维度相关增长与脆弱性？

主要发现

• 在初始化时，对输入的 L2/Lq 梯度范数随维度增长，导致常见网络的对抗性脆弱性呈 sqrt(d) 增长。
• 基于梯度的脆弱性在很大程度上解释了对抗性损害，与梯度范数与脆弱性之间存在强的一阶关系。
• 对抗性增强和梯度正则化呈现对偶关系，产生相似的准确性-脆弱性权衡，支持一阶主导。
• 在训练过程中使用 PGD 正则化可显著减弱维度依赖对脆弱性的影响，且效果在更高正则化时更明显，同时对准确性的损害较小。
• 训练集与测试集上的梯度范数存在差异，表明梯度特性往往并不很好地泛化到训练数据之外。