[论文解读] Convergence and Margin of Adversarial Training on Separable Data

Zachary Charles, Shashank Rajput+2 more|arXiv (Cornell University)|May 22, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用 10

一句话总结

本文分析了在线性可分数据上的对抗训练，表明基于梯度的对抗样本更新可在多项式时间内实现大间隔，而标准梯度下降可能需要指数次迭代。它建立了鲁棒经验风险最小化的 O(ln²(t)/t) 收敛速率，从而实现了具有理论保证的高效鲁棒模型训练。

ABSTRACT

Adversarial training is a technique for training robust machine learning models. To encourage robustness, it iteratively computes adversarial examples for the model, and then re-trains on these examples via some update rule. This work analyzes the performance of adversarial training on linearly separable data, and provides bounds on the number of iterations required for large margin. We show that when the update rule is given by an arbitrary empirical risk minimizer, adversarial training may require exponentially many iterations to obtain large margin. However, if gradient or stochastic gradient update rules are used, only polynomially many iterations are required to find a large-margin separator. By contrast, without the use of adversarial examples, gradient methods may require exponentially many iterations to achieve large margin. Our results are derived by showing that adversarial training with gradient updates minimizes a robust version of the empirical risk at a $\mathcal{O}(\ln(t)^2/t)$ rate, despite non-smoothness. We corroborate our theory empirically.

研究动机与目标

• 理解对抗训练在可分数据上的收敛行为。
• 确定使用不同更新规则的对抗训练是否能高效实现大间隔。
• 比较基于梯度的对抗训练与在干净数据上标准梯度下降的收敛速度。
• 为对抗训练下的鲁棒经验风险最小化建立理论收敛速率。
• 量化使用梯度更新的对抗训练达到给定间隔所需的迭代次数。

提出的方法

• 分析使用任意经验风险最小化器的对抗训练，表明其可能需要指数次迭代才能在可分数据上实现大间隔。
• 引入一个鲁棒经验风险函数 ℓ_rob(w, x, y)，通过间隔约束整合对抗样本。
• 证明在对抗样本上使用梯度或随机梯度更新，可在非光滑条件下以 O(ln²(t)/t) 的速率最小化鲁棒经验风险。
• 利用感知机和提升理论中的技术，包括间隔分析和隐式偏差，推导收敛边界。
• 应用詹森不等式和集中不等式，推导平均迭代值的高概率收敛速率。
• 在合成数据和真实数据集上对理论发现进行实验验证，表明使用梯度更新的对抗训练具有更快的间隔收敛速度。

实验结果

研究问题

• RQ1 使用通用更新规则的对抗训练是否能在可分数据上快速收敛到大间隔分类器？
• RQ2 在对抗样本上使用基于梯度的更新是否能在多项式时间内实现大间隔？
• RQ3 对抗训练的收敛速率与在干净数据上标准梯度下降相比如何？
• RQ4 在使用梯度更新的对抗训练下，鲁棒经验风险最小化的理论收敛速率是多少？
• RQ5 在使用梯度下降的对抗训练下，达到目标间隔所需的迭代次数是否可被界定？

主要发现

• 使用任意经验风险最小化器的对抗训练可能需要指数次迭代才能在可分数据上实现大间隔。
• 在对抗样本上使用梯度或随机梯度更新，可实现鲁棒经验风险最小化的 O(ln²(t)/t) 收敛速率。
• 该收敛速率与在干净数据上标准梯度下降的速率一致，尽管鲁棒损失函数是非光滑的。
• 相比之下，在干净数据上使用标准梯度下降可能需要指数次迭代才能实现大间隔。
• 理论边界表明，使用梯度更新的对抗训练仅需多项式次迭代即可达到给定间隔。
• 实验结果验证了理论分析，表明使用梯度更新的对抗训练具有更快的间隔增长速度。