[论文解读] Adversarial Risk Bounds via Function Transformation

Justin Khim, Po‐Ling Loh|arXiv (Cornell University)|Oct 22, 2018

Adversarial Robustness in Machine Learning参考文献 33被引用 30

一句话总结

本文提出了一种函数变换框架，可将标准分类器转化为对抗鲁棒分类器，从而能够使用标准学习理论工具——特别是Rademacher复杂度——推导对抗风险的泛化界。主要贡献在于，针对线性分类器和神经网络分类器，在对抗扰动下实现了可证明有界的泛化误差，其误差率与标准泛化误差处于同一数量级。

ABSTRACT

We derive bounds for a notion of adversarial risk, designed to characterize the robustness of linear and neural network classifiers to adversarial perturbations. Specifically, we introduce a new class of function transformations with the property that the risk of the transformed functions upper-bounds the adversarial risk of the original functions. This reduces the problem of deriving bounds on the adversarial risk to the problem of deriving risk bounds using standard learning-theoretic techniques. We then derive bounds on the Rademacher complexities of the transformed function classes, obtaining error rates on the same order as the generalization error of the original function classes. We also discuss extensions of our theory to multiclass classification and regression. Finally, we provide two algorithms for optimizing the adversarial risk bounds in the linear case, and discuss connections to regularization and distributional robustness.

研究动机与目标

• 为解决深度学习中对抗风险缺乏泛化界的问题，特别是针对线性分类器和神经网络分类器。
• 开发一个理论框架，将标准分类器转化为对抗鲁棒分类器，从而能够使用标准学习理论技术。
• 推导变换后函数类的Rademacher复杂度界，以控制对抗风险，同时将泛化误差的退化降至最低。
• 将理论扩展至多分类和回归任务，扩大其在二分类之外的应用范围。
• 将所提框架与正则化和分布鲁棒性联系起来，提供实际的优化路径。

提出的方法

• 引入一个变换算子 Φ，将基础分类器 f 映射为对抗扰动版本 Φf，使得 Φf 的风险上界控制 f 的对抗风险。
• 采用上确界形式的变换，建模输入数据周围 ε-球内最坏情况的扰动，将对抗鲁棒性形式化为最坏情况风险问题。
• 将Rademacher复杂度理论应用于变换后的函数类 Tℱ，推导变换后分类器的泛化误差界。
• 利用有界差异不等式和对称化技术控制变换后类的复杂度，显式依赖于 ℓ2 范数和扰动大小 ε。
• 通过浓度不等式推导泛化误差界，对自由参数 λ 进行最小化以收紧界，最终实现与维度 d 相关的 √n 缩放。
• 通过相应调整损失函数和变换结构，将框架扩展至多分类和回归设置。

实验结果

研究问题

• RQ1 我们能否使用标准学习理论工具，为线性分类器和神经网络分类器的对抗风险推导泛化界？
• RQ2 在对抗扰动下，变换后函数类的Rademacher复杂度与原始类相比如何？
• RQ3 该变换框架能否扩展至多分类和回归任务，并保持可证明的误差界？
• RQ4 所提对抗风险界与现有正则化或分布鲁棒优化方法之间存在何种关系？
• RQ5 理论界在实践中如何优化？这对训练鲁棒模型有何启示？

主要发现

• 变换后函数类 Tℱ 的Rademacher复杂度被有界为 C(√(2d log 2) + 1)√n，其中 C 依赖于特征的 ℓ2 范数、扰动大小 ε 和模型参数。
• 变换后分类器的泛化误差界与标准泛化误差处于同一数量级，表明对抗鲁棒性不会带来显著的泛化代价。
• 对于二分类任务，期望对抗风险被上界控制为变换后分类器的经验风险加上一个 O(1/√n) 量级的项，其中显式包含 R、ε 和 d 的常数。
• 该框架产生两类界：一类基于原始损失，另一类基于损失的有界版本（如 min{1, ℓ}），可提升有限样本下的性能。
• 该变换使可通过理论导出的算法优化对抗风险界，具有提升训练效率和鲁棒性的潜力。
• 该方法可扩展至多分类和回归问题，理论保证保持与二分类情形相同的泛化误差缩放特性。