[论文解读] Learnable Boundary Guided Adversarial Training

Jiequan Cui, Shu Liu+2 more|arXiv (Cornell University)|Nov 23, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用 12

一句话总结

该论文提出了一种新型的对抗性训练方法——可学习边界引导对抗训练（Learnable Boundary Guided Adversarial Training, LBGAT），通过引导鲁棒模型的logits与一个训练良好的干净模型的logits对齐，在不损失自然准确率的前提下提升了模型的鲁棒性。该方法在无需额外数据的情况下，于CIFAR-100数据集上在auto-attack基准下实现了最先进（SOTA）的鲁棒性表现，同时在自然准确率和鲁棒准确率上均优于先前方法。

ABSTRACT

Previous adversarial training raises model robustness under the compromise of accuracy on natural data. In this paper, we reduce natural accuracy degradation. We use the model logits from one clean model to guide learning of another one robust model, taking into consideration that logits from the well trained clean model embed the most discriminative features of natural data, {\it e.g.}, generalizable classifier boundary. Our solution is to constrain logits from the robust model that takes adversarial examples as input and makes it similar to those from the clean model fed with corresponding natural data. It lets the robust model inherit the classifier boundary of the clean model. Moreover, we observe such boundary guidance can not only preserve high natural accuracy but also benefit model robustness, which gives new insights and facilitates progress for the adversarial community. Finally, extensive experiments on CIFAR-10, CIFAR-100, and Tiny ImageNet testify to the effectiveness of our method. We achieve new state-of-the-art robustness on CIFAR-100 without additional real or synthetic data with auto-attack benchmark \footnote{\url{https://github.com/fra31/auto-attack}}. Our code is available at \url{https://github.com/dvlab-research/LBGAT}.

研究动机与目标

• 解决对抗性训练中鲁棒性与自然准确率之间的权衡问题。
• 在提升对抗攻击鲁棒性的同时，保持较高的自然分类准确率。
• 探究利用干净模型的分类器边界指导是否能够同时提升自然准确率与鲁棒性。
• 开发一种可学习的、在干净模型与鲁棒模型联合训练过程中动态调整的边界引导机制。
• 在多种数据集（包括CIFAR-10、CIFAR-100和Tiny ImageNet）上验证方法的有效性。

提出的方法

• 在对抗性训练过程中，利用自然训练的干净模型的logits作为鲁棒模型的指导信号。
• 约束鲁棒模型中对抗样本的logits，使其与对应自然输入在干净模型中的logits保持相似。
• 通过类似蒸馏的损失函数实现边界引导，对齐两个模型的输出分布。
• 通过联合训练干净模型与鲁棒模型，将该方法推广为LBGAT，实现分类器边界的动态调整。
• 将该方法与TRADES和ALP等最先进防御框架结合，以提升性能。
• 训练过程使用基于PGD的对抗样本，并结合边界引导的交叉熵损失。

Figure 1 : Model robustness on CIFAR-100 evaluated with 20 iterations PGD under white-box attack. “Natural Acc” represents classification accuracy on natural (clean) data. “Robust Acc” represents classification accuracy on adversarial data. Our method (LBGAT+TRADES with $\alpha=0$ ) improves robustn

实验结果

研究问题

• RQ1 能否利用干净模型的分类器边界知识，在对抗性训练中同时提升自然准确率与鲁棒性？
• RQ2 来自自然训练模型的边界引导是否能提升鲁棒性，而不仅仅是保持自然准确率？
• RQ3 可学习的、联合训练的边界引导机制是否能超越来自预训练干净模型的静态引导？
• RQ4 LBGAT在多种攻击设置下（包括白盒与黑盒攻击）的表现如何？
• RQ5 LBGAT是否能在不依赖额外真实或合成训练数据的情况下实现最先进鲁棒性？

主要发现

• 在CIFAR-100上，LBGAT+TRADES（α=0）在20次迭代的PGD攻击下实现了47.80%的自然准确率与14.31%的鲁棒准确率，相比基线TRADES（α=6）在自然准确率上提升了9.29%。
• 在Tiny ImageNet上，LBGAT+TRADES（α=6）实现了39.26%的自然准确率与16.42%的鲁棒准确率，优于最佳基线模型，自然准确率提升0.75%，鲁棒准确率提升2.94%。
• 在CIFAR-100上，LBGAT+TRADES（α=0）相比TRADES（α=6）在自然准确率上提升了13.53%，同时保持了相近的鲁棒性。
• 在黑盒攻击下，当从自然训练的源模型迁移攻击时，LBGAT模型比TRADES（α=6）的鲁棒性高出12.83%。
• 该方法在无需使用任何额外真实或合成数据的情况下，于auto-attack基准下在CIFAR-100上实现了最先进鲁棒性。
• 一个意外但显著的发现是，干净模型的边界引导还能增强鲁棒性，表明该方法具有双重优势。

Figure 2 : Conceptual illustration of our method vs. previous adversarial training approaches. Solid lines denote real classifier boundary of the trained model, while the dotted line is the classifier boundary of the clean model $\mathcal{M}^{natural}$ . Different shapes represent logits of images i