[论文解读] Adversarial Robustness via Label-Smoothing

Morgane Goibert, Elvis Dohmatob|arXiv (Cornell University)|Jun 27, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用 11

一句话总结

本文提出标签平滑（Label-Smoothing, LS）作为一种简单、高效的方法，在不改变网络结构或增加训练时间的前提下提升深度神经网络的对抗鲁棒性。通过将真实标签的概率质量重新分配至其他类别——尤其是通过对抗性与玻尔兹曼变体——LS 在 MNIST、CIFAR10 和 SVHN 上均提升了鲁棒性，其性能在对抗 C&W 攻击时表现优异，优于自然训练，尽管在所有情况下仍不及 PGD 对抗训练的性能。

ABSTRACT

We study Label-Smoothing as a means for improving adversarial robustness of supervised deep-learning models. After establishing a thorough and unified framework, we propose several variations to this general method: adversarial, Boltzmann and second-best Label-Smoothing methods, and we explain how to construct your own one. On various datasets (MNIST, CIFAR10, SVHN) and models (linear models, MLPs, LeNet, ResNet), we show that Label-Smoothing in general improves adversarial robustness against a variety of attacks (FGSM, BIM, DeepFool, Carlini-Wagner) by better taking account of the dataset geometry. The proposed Label-Smoothing methods have two main advantages: they can be implemented as a modified cross-entropy loss, thus do not require any modifications of the network architecture nor do they lead to increased training times, and they improve both standard and adversarial accuracy.

研究动机与目标

• 探究标签平滑是否可作为深度学习中一种有效、轻量级的对抗攻击防御方法。
• 构建一个统一的理论与实践框架，用于标签平滑，以推广已有工作并支持新变体的开发。
• 在多种数据集（MNIST、CIFAR10、SVHN）和模型（MLP、LeNet、ResNet）上评估标签平滑在鲁棒性与泛化能力方面的优势。
• 从标准准确率与鲁棒准确率两个维度，将标签平滑的性能与强基线方法（如 PGD 对抗训练和自然训练）进行比较。
• 证明标签平滑通过更好地捕捉数据集几何结构并降低模型过度自信，从而提升泛化能力。

提出的方法

• 提出一个统一的标签平滑框架，将独热编码标签替换为接近真实类别的平滑分布，引入可控的不确定性。
• 提出三种新型 LS 变体：对抗性标签平滑（ALS）、玻尔兹曼标签平滑（BLS）和次佳标签平滑（SBLS），每种均通过不同的平滑策略提升鲁棒性。
• ALS 通过将概率质量重新分配给非真实类别中对数几率最高的类别，构建平滑标签，从而聚焦于最可能的误分类，提升鲁棒性。
• BLS 对对数几率应用温度缩放的 softmax 以生成平滑标签，促进更柔和的概率分布，降低过度自信。
• SBLS 将概率质量重新分配给第二高分类别，介于标准 LS 与 ALS 之间。
• 所有方法均以修改后的交叉熵损失实现，无需修改网络架构，且不增加额外训练时间。

实验结果

研究问题

• RQ1 标签平滑是否可在不修改网络结构或增加训练成本的前提下提升深度神经网络的对抗鲁棒性？
• RQ2 不同标签平滑变体（ALS、BLS、SBLS）在面对 FGSM、BIM、DeepFool 和 C&W 等多样化对抗攻击时，其鲁棒性表现如何比较？
• RQ3 标签平滑是否同时提升标准准确率与对抗准确率？若是，原因是什么？
• RQ4 标签平滑与模型泛化能力及数据集几何结构之间有何关联，特别是在降低过度自信方面？
• RQ5 标签平滑在鲁棒性与准确率方面，能在多大程度上与最先进的防御方法（如 PGD 对抗训练）相媲美？

主要发现

• 标签平滑在所有数据集（MNIST、CIFAR10、SVHN）和模型（MLP、LeNet、ResNet）上均一致提升了对抗鲁棒性，且在所有情况下均优于自然训练。
• 对抗性标签平滑（ALS）与玻尔兹曼标签平滑（BLS）在鲁棒性方面表现最佳，显著优于标准 LS 与 SBLS。
• 在 MNIST 数据集上使用 LeNet 模型时，ALS 与 BLS 在 FGSM 和 BIM 攻击下达到或超过 PGD 对抗训练的性能，且在 C&W 攻击下表现更优。
• 在 CIFAR10 与 SVHN 上，当攻击强度 ε 适中时，LS 方法的性能优于 PGD 训练，尽管 PGD 训练的训练成本更高。
• BLS 中的温度超参数对性能影响极小，T=0.001 可作为鲁棒的默认值。
• 标签平滑同时提升了标准准确率与对抗准确率，表明鲁棒性与泛化能力之间存在强关联，其机制在于降低模型的过度自信。