[论文解读] On the Generalization Properties of Adversarial Training

Yue Xing, Qifan Song+1 more|arXiv (Cornell University)|Aug 15, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用 10

一句话总结

本文研究了在线性回归和带平方损失的两层神经网络中对抗训练的泛化特性，表明在低维情况下，尽管损失函数不光滑，对抗风险仍会收敛至最小值；而在高维情况下，数据插值破坏了一致性——通过引入L1正则化可实现一致的对抗鲁棒估计，该方法经数值实验验证。

ABSTRACT

Modern machine learning and deep learning models are shown to be vulnerable when testing data are slightly perturbed. Existing theoretical studies of adversarial training algorithms mostly focus on either adversarial training losses or local convergence properties. In contrast, this paper studies the generalization performance of a generic adversarial training algorithm. Specifically, we consider linear regression models and two-layer neural networks (with lazy training) using squared loss under low-dimensional and high-dimensional regimes. In the former regime, after overcoming the non-smoothness of adversarial training, the adversarial risk of the trained models can converge to the minimal adversarial risk. In the latter regime, we discover that data interpolation prevents the adversarially robust estimator from being consistent. Therefore, inspired by successes of the least absolute shrinkage and selection operator (LASSO), we incorporate the L1 penalty in the high dimensional adversarial learning and show that it leads to consistent adversarially robust estimation. A series of numerical studies are conducted to demonstrate how the smoothness and L1 penalization help improve the adversarial robustness of DNN models.

研究动机与目标

• 分析对抗训练在优化收敛之后的泛化性能，重点关注统计一致性。
• 解决高维设置下由于数据插值导致对抗鲁棒估计器失效的问题。
• 提出并证明L1正则化作为实现高维对抗学习中一致估计的补救措施。
• 建立低维情形下对抗风险收敛至最小值的理论结果。

提出的方法

• 通过带迭代更新的极小-极大优化框架分析对抗训练，用于生成对抗样本和更新模型参数。
• 使用非光滑对抗攻击的平滑近似方法，以处理损失函数曲面中的不可微性。
• 应用浓度不等式和高维渐近分析，研究在样本量和特征维数变化时对抗风险的行为。
• 在对抗训练目标中引入L1惩罚项，以诱导稀疏性并提升高维情形下的一致性。
• 采用子高斯浓度和限制强凸性等理论工具，推导估计误差的界。
• 通过深度神经网络上的数值实验验证结论，表明平滑性和L1正则化均能显著提升对抗鲁棒性。

实验结果

研究问题

• RQ1 在低维情形下，尽管损失函数不光滑，对抗训练是否仍能收敛至最小对抗风险？
• RQ2 为何在高维情形下，数据插值会阻止对抗鲁棒模型中的一致性估计？
• RQ3 L1正则化能否恢复高维对抗学习中的一致性？若能，其适用条件为何？
• RQ4 平滑性与稀疏性之间的相互作用如何影响对抗训练模型的泛化性能？
• RQ5 在低维与高维情形下，对抗估计器的收敛性与一致性可建立哪些理论保证？

主要发现

• 在低维情形下，通过平滑技术克服不光滑性后，对抗风险可收敛至可能的最小值。
• 在高维情形下，数据插值导致对抗鲁棒估计器不一致，标准对抗训练不足以应对。
• 在对抗训练目标中引入L1正则化可通过促进稀疏性，恢复高维情形下的一致性。
• 理论分析表明，在稀疏性和限制特征值条件下，L1-正则化对抗估计器以高概率实现一致估计。
• 数值研究证实，平滑性和L1惩罚均能显著提升深度神经网络中的对抗鲁棒性。