[论文解读] Exploring Memorization in Adversarial Training

Yinpeng Dong, Ke Xu+5 more|arXiv (Cornell University)|Jun 3, 2021

Adversarial Robustness in Machine Learning参考文献 78被引用 15

一句话总结

本文研究了对抗训练（AT）中的记忆化现象，发现深度神经网络能够对带有随机标签的对抗样本产生记忆，从而导致梯度不稳定和鲁棒性过拟合——尤其是由于独热编码标签所致。作者提出一种缓解方法TE（基于温度的证据正则化），通过减少过度自信的预测来改善鲁棒泛化性能，在PGD和AutoAttack攻击下，其在CIFAR-10上的表现优于现有的标签平滑和知识蒸馏等技术。

ABSTRACT

Deep learning models have a propensity for fitting the entire training set even with random labels, which requires memorization of every training sample. In this paper, we explore the memorization effect in adversarial training (AT) for promoting a deeper understanding of model capacity, convergence, generalization, and especially robust overfitting of the adversarially trained models. We first demonstrate that deep networks have sufficient capacity to memorize adversarial examples of training data with completely random labels, but not all AT algorithms can converge under the extreme circumstance. Our study of AT with random labels motivates further analyses on the convergence and generalization of AT. We find that some AT approaches suffer from a gradient instability issue and most recently suggested complexity measures cannot explain robust generalization by considering models trained on random labels. Furthermore, we identify a significant drawback of memorization in AT that it could result in robust overfitting. We then propose a new mitigation algorithm motivated by detailed memorization analyses. Extensive experiments on various datasets validate the effectiveness of the proposed method.

研究动机与目标

• 探究在对抗训练下，深度神经网络是否能够对带有随机标签的对抗样本产生记忆。
• 分析在极端记忆化条件下，AT方法的收敛性和泛化行为。
• 识别AT中鲁棒性过拟合的根本原因，特别是独热标签的作用。
• 提出一种新方法，以减少过度自信的预测并改善鲁棒泛化性能。

提出的方法

• 作者使用随机标签进行PGD-AT和TRADES训练，以测试记忆化能力与收敛性。
• 通过分析梯度大小与稳定性，解释为何PGD-AT在使用随机标签时无法收敛，而TRADES能够保持稳定。
• 评估现有复杂度度量在随机标签训练模型上的表现，以判断其解释鲁棒泛化的能力。
• 所提出的TE方法（基于温度的证据正则化）通过温度控制的softmax将独热标签替换为软标签，以减少过度自信的预测。
• TE被集成到PGD-AT中，并在多种威胁模型和数据集上进行评估。
• 在CIFAR-10上，使用ResNet-18，将该方法与标签平滑、SAT、KD-SWA和Co-teaching进行对比，攻击设置包括PGD-10、PGD-1000、C&W-1000和AutoAttack。

实验结果

研究问题

• RQ1 在对抗训练中，深度网络是否能够对完全随机标签的对抗样本产生记忆？
• RQ2 为何某些AT方法（如PGD-AT）在使用随机标签时无法收敛，而其他方法（如TRADES）却能成功？
• RQ3 当模型在随机标签上进行训练时，现有复杂度度量能否解释鲁棒泛化现象？
• RQ4 对抗训练中鲁棒性过拟合的根本原因是什么？是否可以通过修改标签表示来缓解？
• RQ5 用软标签替代独热标签是否能提升AT中的鲁棒泛化性能？

主要发现

• 当使用随机标签训练对抗样本时，PGD-AT因梯度不稳定性而无法收敛，而TRADES则保持稳定。
• DNN具有足够的容量来记忆带有随机标签的对抗样本，表明即使在极端条件下记忆化依然可能发生。
• 标准复杂度度量在模型使用随机标签训练时无法解释鲁棒泛化现象，表明理论理解仍存在缺口。
• AT中的鲁棒性过拟合主要源于对独热标签的记忆，而这类标签在决策边界附近并不合适。
• 在PGD-1000和AutoAttack下，TE在CIFAR-10上的鲁棒准确率高于PGD-AT、PGD-AT + LS、SAT、KD-SWA和Co-teaching，PGD-1000下测试准确率为54.83%，AutoAttack下为51.73%。
• TE减少了过度自信的预测，提升了泛化性能，在缓解鲁棒性过拟合方面优于标签平滑和其他正则化技术。