[论文解读] Improving Adversarial Robustness via Guided Complement Entropy

Haoyun Chen, Jhao-Hong Liang+5 more|arXiv (Cornell University)|Mar 23, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用 7

一句话总结

本文提出引导互补熵（Guided Complement Entropy, GCE），一种新颖的训练目标，可在不增加额外步骤或性能损失的情况下提升对抗鲁棒性。通过引入引导平衡项，联合最大化正确类别概率并抑制错误类别概率，GCE增强了潜在空间中的特征可分性，在CIFAR-10和MNIST数据集上对PGD攻击实现了最先进水平的鲁棒性与准确率。

ABSTRACT

Adversarial robustness has emerged as an important topic in deep learning as carefully crafted attack samples can significantly disturb the performance of a model. Many recent methods have proposed to improve adversarial robustness by utilizing adversarial training or model distillation, which adds additional procedures to model training. In this paper, we propose a new training paradigm called Guided Complement Entropy (GCE) that is capable of achieving "adversarial defense for free," which involves no additional procedures in the process of improving adversarial robustness. In addition to maximizing model probabilities on the ground-truth class like cross-entropy, we neutralize its probabilities on the incorrect classes along with a "guided" term to balance between these two terms. We show in the experiments that our method achieves better model robustness with even better performance compared to the commonly used cross-entropy training objective. We also show that our method can be used orthogonal to adversarial training across well-known methods with noticeable robustness gain. To the best of our knowledge, our approach is the first one that improves model robustness without compromising performance.

研究动机与目标

• 开发一种训练范式，以在不依赖对抗训练或蒸馏的情况下提升对抗鲁棒性。
• 解决现有防御方法中鲁棒性与干净准确率之间的常见权衡问题。
• 实现‘免费的对抗防御’——在不增加计算开销或模型依赖的前提下提升鲁棒性。
• 设计一种损失函数，通过互补概率抑制促进潜在空间中更好的类别可分性。
• 展示与现有防御方法（如PGD对抗训练）结合时的兼容性与性能提升。

提出的方法

• 提出一种新的损失函数——引导互补熵（GCE），将交叉熵与对错误类别概率的惩罚相结合。
• 引入一个引导项，通过指数级缩放以平衡正确类别最大化与错误类别抑制。
• 在经验风险最小化（ERM）中使用GCE损失进行模型训练，替代标准交叉熵。
• 在训练过程中使用带有交叉熵损失的PGD对抗攻击框架生成对抗样本，但使用GCE进行模型优化。
• 通过t-SNE可视化潜在空间，表明GCE生成的类别簇比交叉熵更清晰、重叠更少。
• 采用标准训练与对抗训练设置（如MNIST中40次迭代，CIFAR-10中10次迭代）来评估PGD攻击下的鲁棒性。

实验结果

研究问题

• RQ1 是否可以在训练过程中不引入对抗样本或教师模型的情况下提升对抗鲁棒性？
• RQ2 在最大化正确类别似然的同时抑制错误类别概率，是否能带来更好的泛化性与鲁棒性？
• RQ3 是否可通过新设计的损失函数同时实现更高的干净准确率与鲁棒性，避免典型的性能权衡？
• RQ4 在潜在空间可分性与对抗鲁棒性方面，GCE相较于交叉熵与对抗训练有何表现？
• RQ5 GCE是否能与现有对抗训练方法有效结合，进一步提升鲁棒性？

主要发现

• 在CIFAR-10上，使用GCE训练的模型相比交叉熵，干净准确率最高提升了10.14%。
• 在CIFAR-10上，PGD攻击ε=0.08时，GCE在鲁棒准确率上相比交叉熵最高提升5.91%。
• 在MNIST上，ε=0.3时，GCE实现83.85%的鲁棒准确率，优于交叉熵的83.67%，表现出一致的改进。
• t-SNE可视化证实，与交叉熵相比，GCE在潜在空间中生成的类别簇更具可分性、重叠更少。
• GCE在保持或提升干净准确率的同时增强了鲁棒性，反驳了‘鲁棒性必然以性能为代价’的普遍认知。
• GCE可与PGD对抗训练结合，进一步提升鲁棒性，表明其与现有方法具有正交兼容性。