[论文解读] Adversarial Training is a Form of Data-dependent Operator Norm Regularization

Kevin A. Roth, Yannic Kilcher+1 more|arXiv (Cornell University)|Jun 4, 2019

Adversarial Robustness in Machine Learning参考文献 60被引用 15

一句话总结

本文建立了使用 $ε$-约束投影梯度上升进行对抗训练与数据依赖的算子范数正则化之间的理论等价性，表明此类训练在数据支持区域中隐式地对神经网络的谱特性进行正则化。主要贡献在于证明了在logits上使用 $Â뀒$-范数损失的对抗训练在数学上等价于 $(p,q)$-算子范数正则化，为通过谱控制实现鲁棒性提供了新的理论基础。

ABSTRACT

We establish a theoretical link between adversarial training and operator norm regularization for deep neural networks. Specifically, we prove that $\ell_p$-norm constrained projected gradient ascent based adversarial training with an $\ell_q$-norm loss on the logits of clean and perturbed inputs is equivalent to data-dependent (p, q) operator norm regularization. This fundamental connection confirms the long-standing argument that a network's sensitivity to adversarial examples is tied to its spectral properties and hints at novel ways to robustify and defend against adversarial attacks. We provide extensive empirical evidence on state-of-the-art network architectures to support our theoretical results.

研究动机与目标

• 为了在理论上将对抗训练与深度神经网络中的算子范数正则化联系起来。
• 为了证明在logits上使用 $Â뀒$-范数约束扰动和 $Â뀒$-范数损失的对抗训练等价于数据依赖的 $(p,q)$-算子范数正则化。
• 为了提供实证证据，表明对抗扰动与主导奇异向量对齐，且对抗训练会降低奇异值。
• 为了证明对抗训练使得模型在数据点附近显著更线性，相较于标准训练。
• 为了建立通过数据依赖谱正则化实现鲁棒泛化的理论基础。

提出的方法

• 理论分析证明了在logits上使用 $Â뀒$-范数损失、且采用 $Â뀒$-范数约束投影梯度上升的对抗训练，在数学上等价于数据依赖的 $(p,q)$-算子范数正则化。
• 分析聚焦于网络最后一层的雅可比矩阵，表明对抗攻击近似于对雅可比矩阵执行类似幂迭代的运算，以寻找主导奇异向量。
• 该方法提出了一种数据依赖的谱范数正则化变体，仅在数据分布支持的区域中正则化奇异值，这与以往工作中采用全局边界的方法不同。
• 通过雅可比矩阵的奇异向量和奇异值进行实证评估，以分析对抗扰动的对齐性及模型的线性程度。
• 实验在多个数据集和扰动范数下，比较了标准训练、对抗训练以及显式的数据依赖算子范数正则化。
• 通过矩阵分析和雅可比矩阵的性质（特别是其奇异值分解）推导出理论等价性。

实验结果

研究问题

• RQ1 对抗训练是否等价于某种形式的算子范数正则化？
• RQ2 能否将对抗训练解释为在数据支持区域中正则化神经网络的谱特性？
• RQ3 对抗扰动是否与网络雅可比矩阵的主导奇异向量对齐？
• RQ4 对抗训练是否降低了网络雅可比矩阵的最高奇异值，从而使其在数据点附近表现出更大的线性？
• RQ5 数据依赖的算子范数正则化能否实现与对抗训练相当的鲁棒性？

主要发现

• 在 $Â뀒$-范数约束扰动和 $Â뀒$-范数损失下，对抗训练在数学上等价于数据依赖的 $(p,q)$-算子范数正则化。
• 对抗扰动与网络雅可比矩阵的主导奇异向量强烈对齐，尤其是在训练中使用的 $Â뀒$-范数约束水平下。
• 对抗训练显著降低了网络雅可比矩阵的最高奇异值，表明对输入扰动的敏感性降低。
• 与标准训练相比，采用对抗训练或数据依赖算子范数正则化的模型在数据点附近表现出显著更高的线性度。
• 该等价性在不同扰动范数（$\ell_2$、$\ell_\infty$）和数据集（CIFAR-10、SVHN）下均成立，且实证结果一致。
• 理论与实证结果共同证实，对抗鲁棒性本质上与网络雅可比矩阵的谱特性密切相关。