[论文解读] A single gradient step finds adversarial examples on random two-layers neural networks

Sébastien Bubeck, Yeshwanth Cherapanamjeri+2 more|arXiv (Cornell University)|Apr 8, 2021

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文证明，在宽度超过输入维度（k > d）且宽度为输入维度d的次指数函数的随机两层ReLU和光滑激活神经网络中，单步梯度即可生成对抗样本。关键结果表明，以高概率，扰动 δ = η∇f(x) 且 |η| ≈ √log(1/γ) 可翻转网络输出的符号，证明了在宽随机网络中，由于其局部线性特性，对抗样本自然产生。

ABSTRACT

Daniely and Schacham recently showed that gradient descent finds adversarial examples on random undercomplete two-layers ReLU neural networks. The term "undercomplete" refers to the fact that their proof only holds when the number of neurons is a vanishing fraction of the ambient dimension. We extend their result to the overcomplete case, where the number of neurons is larger than the dimension (yet also subexponential in the dimension). In fact we prove that a single step of gradient descent suffices. We also show this result for any subexponential width random neural network with smooth activation function.

研究动机与目标

• 从理论上确认，对抗样本可通过单步梯度在随机两层神经网络中找到。
• 将先前针对欠完备（k = o(d)）情形的结果扩展至过完备（k > d）情形，且宽度为输入维度的次指数函数。
• 分析随机神经网络在光滑和ReLU激活函数下对基于梯度攻击的鲁棒性。
• 在高维随机架构中，建立基于梯度的对抗攻击成功率的概率界。

提出的方法

• 采用具有独立同分布高斯权重 wℓ ∼ N(0, I/d) 和随机符号 aℓ ∈ {−1, +1} 的随机两层网络模型。
• 利用集中不等式和高斯尾部界控制梯度范数和扰动大小。
• 通过有限网上的并集界控制输入扰动下泛函的上确界。
• 利用Lipschitz集中测度控制小扰动下梯度和函数行为的偏离。
• 使用ε-网的链式论证控制小输入变化下网络输出的振荡。
• 通过高斯混沌的矩和尾部分布估计，推导出高概率界中的显式常数。

实验结果

研究问题

• RQ1 在过完备随机两层ReLU网络中，单步梯度能否生成对抗样本？
• RQ2 当神经元数量超过输入维度时，对抗样本现象是否仍存在于随机网络中？
• RQ3 网络宽度如何影响通过梯度下降找到对抗样本的可能性？
• RQ4 快速梯度符号法（FGSM）的成功是否在理论上根植于随机神经网络的局部线性特性？

主要发现

• 对于光滑激活函数，当 k ≥ C₁log³(1/γ) 且 d ≥ C₂log(k/γ)log(1/γ) 时，若 |η| ≈ C₃√log(1/γ)，则以至少 1−γ 的概率翻转 f(x) 的符号。
• 对于ReLU网络，在 k ≥ C₁d log²(d) 且 d/log(d) ≥ C₂log⁴(k)log(1/γ) 的条件下，相同结果成立，且 |η| ≈ C₃√log(1/γ)。
• 扰动范数 ∥η∇f(x)∥ 被限制在 C₄√log(1/γ) 以内，表明存在小而精准的对抗扰动。
• 实验结果确认，使符号翻转所需的最小 η 在 d 和 k 变化时近似恒定，且当 d, k > 50 时，|η| < 20 下 100% 的样本均为对抗样本。
• 该现象在更深的网络（L = 1 至 6）中依然成立，但因内存限制，100% 成功的阈值随深度增加而上升。
• 理论框架证实，快速梯度符号法（FGSM）之所以成功，是因为大多数随机网络在其广阔的输入区域上表现出局部线性特性。