[论文解读] Rademacher Complexity for Adversarially Robust Generalization

Dong Yin, Kannan Ramchandran+1 more|arXiv (Cornell University)|Oct 29, 2018

Adversarial Robustness in Machine Learning参考文献 56被引用 64

一句话总结

本论文在对 L-infinity 攻击下分析对抗性鲁棒泛化，利用 Rademacher 复杂度，给出二分类和多类线性分类器的紧界，并显示显式的维度依赖，以及对神经网络和代理损失的结果。

ABSTRACT

Many machine learning models are vulnerable to adversarial attacks; for example, adding adversarial perturbations that are imperceptible to humans can often make machine learning models produce wrong predictions with high confidence. Moreover, although we may obtain robust models on the training dataset via adversarial training, in some problems the learned models cannot generalize well to the test data. In this paper, we focus on $\ell_\infty$ attacks, and study the adversarially robust generalization problem through the lens of Rademacher complexity. For binary linear classifiers, we prove tight bounds for the adversarial Rademacher complexity, and show that the adversarial Rademacher complexity is never smaller than its natural counterpart, and it has an unavoidable dimension dependence, unless the weight vector has bounded $\ell_1$ norm. The results also extend to multi-class linear classifiers. For (nonlinear) neural networks, we show that the dimension dependence in the adversarial Rademacher complexity also exists. We further consider a surrogate adversarial loss for one-hidden layer ReLU network and prove margin bounds for this setting. Our results indicate that having $\ell_1$ norm constraints on the weight matrices might be a potential way to improve generalization in the adversarial setting. We demonstrate experimental results that validate our theoretical findings.

研究动机与目标

• 在 L-infinity 扰动下激励并形式化对抗性鲁棒泛化的研究。
• 表征线性和多类线性分类器的对抗性 Rademacher 复杂度。
• 将分析扩展到神经网络，并探索代理损失与边际界限。
• 提出基于范数的正则化（特别是 L1）可能改进对抗性鲁棒泛化的建议。
• 提供理论发现的实验验证。

提出的方法

• 在 L-infinity 扰动下定义对抗性风险及其经验对应。
• 将总体风险和经验风险与对抗性损失族的 Rademacher 复杂度相关联。
• 推导二分类线性分类器的自然与对抗性 Rademacher 复杂度的界限。
• 扩展到多类线性分类器，给出基于边际的界限。
• 分析神经网络，展示在范数约束下对抗性 Rademacher 复杂度的维度依赖。
• 研究一个用于一隐藏层 ReLU 网络的代理对抗损失，并在 L1 约束下证明边际界。

实验结果

研究问题

• RQ1 在 L-infinity 攻击下，二分类线性分类的对抗性 Rademacher 复杂度有哪些紧界？
• RQ2 对抗性 Rademacher 复杂度与自然情形相比，在线性和多类线性分类器中有何差异？
• RQ3 在神经网络的对抗性情形中，会出现哪些维度依赖，是否可通过如 L1 的范数约束来缓解？
• RQ4 在对抗性扰动下，多类与神经网络模型是否存在边际界限？若存在，在哪些条件下？
• RQ5 代理对抗损失（如 SDP 放宽）是否能在有限维度依赖下获得有利的边际界？

主要发现

• 对抗性 Rademacher 复杂度永不小于自然情形的对应项，表明对抗性泛化本质上的困难。
• 对于带有 p>=1 的 Lp 约束的二分类线性分类器，对抗性复杂度在维度上存在不可避免的多项式依赖，除非 p=1。
• 对于多类线性分类器，当权重有界的 lp 范数（p>1）时，对抗性扰动下的边际界呈现类似的维度依赖。
• 神经网络分析显示对抗性 Rademacher 复杂度存在显式的维度依赖的下界，与某些自然情形界限不同。
• 具有 SDP 放宽的代理对抗损失给出边际界，若第一层权重具有有界的 L1 范数，则避免维度依赖。
• 实验结果支持 L1 正则化可以降低对抗性泛化误差，并且对抗性差距随输入维度增加而增大。