[论文解读] Implicit Bias of Gradient Descent based Adversarial Training on Separable Data

Yan Li, Ethan X. Fang+2 more|arXiv (Cornell University)|Apr 30, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 22

一句话总结

本文分析了在可线性分离数据上，对抗训练中梯度下降的隐式偏差，表明其收敛至最大L2边界分类器的速度为O(1/√T)，远快于干净数据训练。此外，研究进一步证明有界Lq-范数扰动会导致最大混合范数边界分类器，为对抗鲁棒性提供了理论依据。

ABSTRACT

Adversarial training is a principled approach for training robust neural networks. Despite of tremendous successes in practice, its theoretical properties still remain largely unexplored. In this paper, we provide new theoretical insights of gradient descent based adversarial training by studying its computational properties, specifically on its implicit bias. We take the binary classification task on linearly separable data as an illustrative example, where the loss asymptotically attains its infimum as the parameter diverges to infinity along certain directions. Specifically, we show that for any fixed iteration $T$, when the adversarial perturbation during training has proper bounded L2 norm, the classifier learned by gradient descent based adversarial training converges in direction to the maximum L2 norm margin classifier at the rate of $O(1/\sqrt{T})$, significantly faster than the rate $O(1/\log T}$ of training with clean data. In addition, when the adversarial perturbation during training has bounded Lq norm, the resulting classifier converges in direction to a maximum mixed-norm margin classifier, which has a natural interpretation of robustness, as being the maximum L2 norm margin classifier under worst-case bounded Lq norm perturbation to the data. Our findings provide theoretical backups for adversarial training that it indeed promotes robustness against adversarial perturbation.

研究动机与目标

• 理解在可线性分离数据上，对抗训练中梯度下降的隐式偏差。
• 分析对抗扰动如何影响参数空间中收敛的方向。
• 比较对抗训练与在干净数据上标准训练的收敛速度。
• 表征当对抗扰动在Lq范数下有界时所得到的分类器。
• 为对抗训练中观察到的鲁棒性提供理论依据。

提出的方法

• 分析基于梯度下降的对抗训练在二分类与可线性分离数据下的情形。
• 考虑参数沿特定方向趋于无穷的极限情况，聚焦于方向上的收敛性。
• 使用有界L2范数扰动，证明收敛至最大L2范数边界分类器。
• 将分析扩展至有界Lq范数扰动，推导出收敛至最大混合范数边界分类器。
• 采用损失函数的渐近分析，表征优化过程的隐式偏差。
• 利用O(1/√T)的收敛速率，表征L2有界扰动下的方向收敛速度。

实验结果

研究问题

• RQ1 在可线性分离数据上，对抗训练中梯度下降在方向上的收敛方式如何？
• RQ2 对抗训练的收敛速度与使用干净数据的标准训练相比如何？
• RQ3 扰动范数的选择（L2与Lq）如何影响对抗训练的隐式偏差？
• RQ4 在Lq-范数有界扰动下，所学习分类器的几何解释是什么？
• RQ5 对抗训练是否通过其隐式偏差隐式促进鲁棒性？

主要发现

• 对于有界L2范数扰动，对抗训练在方向上以O(1/√T)的速率收敛至最大L2范数边界分类器，快于标准训练的O(1/log T)速率。
• 当参数沿参数空间中特定方向发散时，最大L2范数边界分类器渐近实现。
• 当扰动在Lq范数下有界时，分类器收敛至最大混合范数边界分类器，该分类器对应于在最坏情况Lq有界扰动下的L2边界。
• 该混合范数边界分类器为对抗攻击的鲁棒性提供了自然的理论解释。
• 研究结果表明，对抗训练的隐式偏差与鲁棒性一致，为其经验成功提供了理论支持。
• 对抗训练在O(1/√T)速率下的收敛速度显著快于标准训练中观察到的O(1/log T)速率。