[论文解读] Inductive Bias of Gradient Descent based Adversarial Training on Separable Data

Yan Li, Ethan X. Fang+2 more|arXiv (Cornell University)|Jun 7, 2019

Adversarial Robustness in Machine Learning参考文献 38被引用 8

一句话总结

本文分析了基于梯度下降的对抗性训练在可线性分离数据上的归纳偏差，表明其在有界 ℓ₂-扰动下以 Õ(1/√T) 的速率收敛至最大 ℓ₂-边际分类器，显著快于干净数据训练。此外，研究进一步表明，有界 ℓ_q-扰动会导致最大混合范数边际分类器，为对抗鲁棒性提供了理论依据。

ABSTRACT

Adversarial training is a principled approach for training robust neural networks. Despite of tremendous successes in practice, its theoretical properties still remain largely unexplored. In this paper, we provide new theoretical insights of gradient descent based adversarial training by studying its computational properties, specifically on its inductive bias. We take the binary classification task on linearly separable data as an illustrative example, where the loss asymptotically attains its infimum as the parameter diverges to infinity along certain directions. Specifically, we show that when the adversarial perturbation during training has bounded $\ell_2$-norm, the classifier learned by gradient descent based adversarial training converges in direction to the maximum $\ell_2$-norm margin classifier at the rate of $ ilde{\mathcal{O}}(1/\sqrt{T})$, significantly faster than the rate $\mathcal{O}(1/\log T)$ of training with clean data. In addition, when the adversarial perturbation during training has bounded $\ell_q$-norm for some $q\ge 1$, the resulting classifier converges in direction to a maximum mixed-norm margin classifier, which has a natural interpretation of robustness, as being the maximum $\ell_2$-norm margin classifier under worst-case $\ell_q$-norm perturbation to the data. Our findings provide theoretical backups for adversarial training that it indeed promotes robustness against adversarial perturbation.

研究动机与目标

• 理解基于梯度下降的对抗性训练（GDAT）在可线性分离数据上的二分类任务中的归纳偏差。
• 研究 GDAT 的收敛行为如何在缺乏显式正则化的情况下促进对抗鲁棒性。
• 在不同扰动约束（ℓ₂ 和 ℓ_q 范数）下，表征 GDAT 所学习分类器的极限方向。
• 为对抗训练在提升鲁棒性和泛化能力方面的经验成功提供理论依据。

提出的方法

• 在二分类任务的简化线性模型设置下分析 GDAT，数据为线性可分。
• 将对抗训练建模为具有有界 ℓ₂ 和 ℓ_q 扰动的极小化-极大化优化问题。
• 通过梯度下降的收敛性分析，表明分类器方向收敛至最大边际解。
• 利用李雅普诺夫函数分析和涉及梯度范数的递归不等式，建立收敛速率。
• 证明对于 ℓ₂-有界扰动，GDAT 在方向上收敛至最大 ℓ₂-边际分类器。
• 将分析扩展至 ℓ_q-有界扰动，表明收敛至最大混合范数边际分类器。

实验结果

研究问题

• RQ1 基于梯度下降的对抗性训练是否表现出一种隐式归纳偏差，倾向于选择鲁棒解？
• RQ2 在可线性分离数据上学习时，GDAT 的收敛速率与标准训练相比如何？
• RQ3 在 ℓ₂-有界对抗扰动下，GDAT 所学习分类器的极限方向是什么？
• RQ4 扰动范数（ℓ_q）的选择如何影响最终分类器的鲁棒性和边际特性？
• RQ5 GDAT 的隐式偏差能否与对抗鲁棒性和泛化能力正式关联？

主要发现

• 对于 ℓ₂-有界扰动，GDAT 在方向上以 Õ(1/√T) 的速率收敛至最大 ℓ₂-边际分类器，显著快于标准训练的 O(1/log T) 速率。
• 在 ℓ₂-扰动下，GDAT 的极限方向对应于带有对抗约束的最大边际问题的解。
• 对于 ℓ_q-有界扰动（q ≥ 1），GDAT 收敛至最大混合范数边际分类器，该分类器对应于在最坏情况 ℓ_q-扰动下的最大 ℓ₂-边际。
• 理论分析证实，对抗训练通过偏好在对抗扰动下具有大边际的解，隐式促进了鲁棒性。
• 实验结果表明，对抗训练在干净数据上也加速了收敛，且扰动水平越大，加速效果越明显。
• 在不同网络宽度和扰动水平下，收敛至最优边际方向均保持稳健，验证了理论发现。