[论文解读] Adversarial Learning Guarantees for Linear Hypotheses and Neural Networks

Pranjal Awasthi, Natalie S. Frank+1 more|arXiv (Cornell University)|Apr 28, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 5

一句话总结

本文针对 $\ell_r$-范数扰动下的线性模型和神经网络，提供了对抗性 Rademacher 复杂度的紧致界，推广了先前关于 $\ell_\infty$-鲁棒性的研究。研究揭示了泛化中的维数相关权衡，推导出线性分类器的改进界，并对单个 ReLU 单元和单隐藏层网络提供了无需代理近似的直接界。

ABSTRACT

Adversarial or test time robustness measures the susceptibility of a classifier to perturbations to the test input. While there has been a flurry of recent work on designing defenses against such perturbations, the theory of adversarial robustness is not well understood. In order to make progress on this, we focus on the problem of understanding generalization in adversarial settings, via the lens of Rademacher complexity. We give upper and lower bounds for the adversarial empirical Rademacher complexity of linear hypotheses with adversarial perturbations measured in $l_r$-norm for an arbitrary $r \geq 1$. This generalizes the recent result of [Yin et al.'19] that studies the case of $r = \infty$, and provides a finer analysis of the dependence on the input dimensionality as compared to the recent work of [Khim and Loh'19] on linear hypothesis classes. We then extend our analysis to provide Rademacher complexity lower and upper bounds for a single ReLU unit. Finally, we give adversarial Rademacher complexity bounds for feed-forward neural networks with one hidden layer. Unlike previous works we directly provide bounds on the adversarial Rademacher complexity of the given network, as opposed to a bound on a surrogate. A by-product of our analysis also leads to tighter bounds for the Rademacher complexity of linear hypotheses, for which we give a detailed analysis and present a comparison with existing bounds.

研究动机与目标

• 弥合理论空白，理解对抗性扰动下的泛化，特别是针对线性模型和神经网络。
• 克服先前研究依赖代理界或局限于特定范数（如 $\ell_\infty$）的局限性。
• 推导出能捕捉输入维数和扰动范数影响的对抗性 Rademacher 复杂度的精确、数据相关的界。
• 通过 Rademacher 复杂度在对抗性鲁棒性与泛化之间建立直接联系，实现更紧致的基于间隔的泛化界。
• 作为分析的副产品，改进线性分类器的非对抗性 Rademacher 复杂度界。

提出的方法

• 推导任意 $\ell_r$-范数扰动（$r \geq 1$）下线性假设的对抗性经验 Rademacher 复杂度的上下界，推广先前的 $\ell_\infty$ 结果。
• 对训练样本进行划分，并应用 Khintchine-Kahane 不等式，以界住加权权重向量和的 $\ell_{p^*}$-范数。
• 引入一种新颖的基于 Rademacher 随机变量的对抗性打碎分析，以推导维数相关的下界。
• 应用对偶性及范数不等式（如 Hölder 和 Cauchy-Schwarz）将对抗性复杂度与数据矩阵的 $\ell_{p,\infty}$-范数联系起来。
• 通过界住其符号激活权重组合的复杂度，将分析扩展至单个 ReLU 单元。
• 为单隐藏层前馈网络提供对抗性 Rademacher 复杂度的直接上界，避免依赖代理函数。

实验结果

研究问题

• RQ1 线性模型的对抗性 Rademacher 复杂度如何随输入维数和扰动范数 $\ell_r$ 变化？
• RQ2 在 $\ell_r$-扰动下，对抗性泛化对数据分布和权重范数的精确依赖关系是什么？
• RQ3 能否为 ReLU 单元和浅层神经网络推导出更紧致、数据相关的对抗性 Rademacher 复杂度界？
• RQ4 对抗性复杂度的界与非对抗性对应界相比如何？维数在这一差距中起什么作用？
• RQ5 该分析能否为标准（非对抗性）线性分类器提供改进的泛化界？

主要发现

• 在线性模型中，$\ell_r$-范数扰动下，对抗性 Rademacher 复杂度引入了额外的 $\sqrt{d}$-相关项，其中 $d$ 为输入维数，证实了维数相关的泛化代价。
• 对于 $r \geq 1$ 的 $\ell_r$-范数，论文推导出紧致上界 $\mathcal{O}(\tau \|X\|_{p,\infty} / \epsilon)$，其中 $\tau$ 为最大权重范数，$\epsilon$ 为扰动半径。
• 该分析导出非对抗性线性分类器 Rademacher 复杂度的新界，其 $\sqrt{d}$-依赖关系比先前结果更紧致。
• 对于单个 ReLU 单元，对抗性 Rademacher 复杂度被界为 $\mathcal{O}(\|W^+\|_2 \|\Delta W\|_{p^*} / \epsilon)$，显式体现了权重结构的影响。
• 对于单隐藏层神经网络，论文提供了不依赖代理函数的对抗性 Rademacher 复杂度的直接上界，优于先前工作。
• 推导出的对抗性打碎界表明 $t \leq \frac{4c_2^2(p^*)\tau^2\|X\|_{p,\infty}^2}{\epsilon^2 w_{\text{min}}^2}$，其中 $t$ 为打碎点数，揭示了维数与范数感知的泛化极限。