[论文解读] Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?
该论文表明，将简单正则化项（标签平滑和对数压缩）与高斯噪声结合，可以获得与对抗训练相当或更强的鲁棒性，而不使用对抗样本。
Adversarial training is one of the strongest defenses against adversarial attacks, but it requires adversarial examples to be generated for every mini-batch during optimization. The expense of producing these examples during training often precludes adversarial training from use on complex image datasets. In this study, we explore the mechanisms by which adversarial training improves classifier robustness, and show that these mechanisms can be effectively mimicked using simple regularization methods, including label smoothing and logit squeezing. Remarkably, using these simple regularization methods in combination with Gaussian noise injection, we are able to achieve strong adversarial robustness -- often exceeding that of adversarial training -- using no adversarial examples.
研究动机与目标
- 理解对抗训练如何产生鲁棒性，以及它在 logits 和梯度方面实现了哪些效果。
- 探索诸如标签平滑和对数压缩等正则化方法是否能模拟对抗训练的效果。
- 评估在使用简单正则项时，Gaussian 噪声增强在提升鲁棒性方面的作用。
- 在标准数据集（MNIST、CIFAR-10/100）上展示经验鲁棒性并与对抗训练进行比较。
提出的方法
- 使用一个线性化模型分解对抗鲁棒性，该模型将 logit gap、gradient gap 与扰动大小联系起来。
- 通过标签平滑来减小 logit gap，并模拟信心下降。
- 应用 logit squeezing 来惩罚大 logits 并缩小梯度。
- 通过高斯噪声对训练数据进行增强，以正则化离散于流形之外的输入。
- 将正则项与高斯增广结合，并对 FGSM 与迭代型 PGD 攻击进行评估。
- 与标准对抗训练（如 Madry 等人）在 MNIST、CIFAR-10、CIFAR-100 上进行性能比较。
实验结果
研究问题
- RQ1标签平滑和 logit squeezing 能否复制对抗训练的关键鲁棒性效应？
- RQ2Gaussian 噪声增强在使这些正则项达到或超过对抗训练时的作用是什么？
- RQ3在标准基准测试上，这些方法在白盒与黑盒对抗威胁下的表现如何？
主要发现
- 标签平滑再加上高斯增强能显著提升鲁棒性，在 CIFAR-10 上对抗黑盒迭代攻击的准确率超过 73%，相比之下最先进的对抗训练模型为 64%。
- 在白盒情景中，使用 logit squeezing 和标签平滑训练的分类器在迭代攻击上的准确率约为 50%，而对抗训练约为 47%。
- 在白盒 PGD-20 攻击下，强烈的 logit squeezing（如 beta=10）结合高斯噪声可超越 Madry 等人对 CIFAR-10 的对抗训练，同时在某些情况下也提供更好的清洁准确率。
- 单独的标签平滑可能稍微降低鲁棒性，但与高斯增强配对时，它可以显著降低梯度差并对齐梯度，从而提升鲁棒性。
- 在某些配置下，使用高斯噪声的 logit squeezing 会增加 logit gap 并降低梯度幅值，产生与对抗训练相似的鲁棒性模式；该组合在 CIFAR-10/100 上尤其有效。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。