[论文解读] Adversarial Vulnerability of Neural Networks Increases with Input Dimension

Carl-Johann Simon-Gabriel, Yann Ollivier+3 more|arXiv (Cornell University)|Sep 27, 2018

Adversarial Robustness in Machine Learning参考文献 9被引用 30

一句话总结

本文表明，神经网络的对抗脆弱性随输入维度增加而增加，因为损失关于输入的梯度的ℓ₁-范数随输入大小的平方根增长。本文建立了梯度正则化与对抗训练之间的联系，表明二重反向传播在第一阶上等价于对抗训练，并且用平均池化替代步幅池化可降低脆弱性。

ABSTRACT

Over the past four years, neural networks have proven vulnerable to adversarial images: targeted but imperceptible image perturbations lead to drastically different predictions. We show that adversarial vulnerability increases with the gradients of the training objective when seen as a function of the inputs. For most current network architectures, we prove that the $\ell_1$-norm of these gradients grows as the square root of the input-size. These nets therefore become increasingly vulnerable with growing image size. Over the course of our analysis we rediscover and generalize double-backpropagation, a technique that penalizes large gradients in the loss surface to reduce adversarial vulnerability and increase generalization performance. We show that this regularization-scheme is equivalent at first order to training with adversarial noise. Finally, we demonstrate that replacing strided by average-pooling layers decreases adversarial vulnerability. Our proofs rely on the network's weight-distribution at initialization, but extensive experiments confirm their conclusions after training.

研究动机与目标

• 研究深度神经网络中对抗脆弱性如何随输入维度变化。
• 分析损失梯度范数与对抗鲁棒性之间的关系。
• 将二重反向传播广义化并重新解释为一种对抗训练形式。
• 评估架构改进（特别是将步幅池化替换为平均池化）对对抗脆弱性的影响。
• 通过训练后的实证结果验证基于权重初始化的理论发现。

提出的方法

• 对损失关于输入的梯度范数进行理论分析，表明ℓ₁-范数随输入维度d的平方根增长。
• 推导二重反向传播与对抗训练在第一阶上的等价性。
• 应用梯度正则化以惩罚损失表面上的大梯度。
• 通过实证评估架构改进，特别是将步幅卷积替换为平均池化层。
• 利用训练前的权重分布推导理论边界，并在训练后加以验证。
• 使用对抗噪声作为梯度正则化的代理，以提升鲁棒性。

实验结果

研究问题

• RQ1 在深度神经网络中，对抗脆弱性如何随输入维度变化？
• RQ2 损失梯度范数与对抗鲁棒性之间存在何种数学关系？
• RQ3 在优化动力学方面，二重反向传播是否等价于对抗训练？
• RQ4 如平均池化等架构选择能否降低对抗脆弱性？
• RQ5 基于初始化的理论预测在标准训练后是否依然成立？

主要发现

• 损失关于输入的梯度的ℓ₁-范数随输入维度的平方根增长，表明输入越大，对抗脆弱性越高。
• 二重反向传播在数学上与对抗训练在第一阶等价，为其实现鲁棒性优势提供了理论依据。
• 将步幅池化层替换为平均池化层可降低对抗脆弱性，表明架构设计对鲁棒性具有影响。
• 基于训练开始时权重初始化的理论预测在标准训练后依然成立，证实了研究发现的泛化能力。
• 梯度正则化通过惩罚损失表面上的陡峭变化，有效降低对抗脆弱性。
• 对抗鲁棒性本质上与损失景观的几何结构相关，特别是梯度大小。