[论文解读] Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning

Tianlong Chen, Sijia Liu+4 more|arXiv (Cornell University)|Mar 28, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 33

一句话总结

本文提出对抗性自监督预训练，随后进行对抗性微调以提升鲁棒性，在 CIFAR-10 上显示显著提升，并使多自监督任务的集成策略成为可能。

ABSTRACT

Pretrained models from self-supervision are prevalently used in fine-tuning downstream tasks faster or for better accuracy. However, gaining robustness from pretraining is left unexplored. We introduce adversarial training into self-supervision, to provide general-purpose robust pre-trained models for the first time. We find these robust pre-trained models can benefit the subsequent fine-tuning in two ways: i) boosting final model robustness; ii) saving the computation cost, if proceeding towards adversarial fine-tuning. We conduct extensive experiments to demonstrate that the proposed framework achieves large performance margins (eg, 3.83% on robust accuracy and 1.3% on standard accuracy, on the CIFAR-10 dataset), compared with the conventional end-to-end adversarial training baseline. Moreover, we find that different self-supervised pre-trained models have a diverse adversarial vulnerability. It inspires us to ensemble several pretraining tasks, which boosts robustness more. Our ensemble strategy contributes to a further improvement of 3.59% on robust accuracy, while maintaining a slightly higher standard accuracy on CIFAR-10. Our codes are available at https://github.com/TAMU-VITA/Adv-SS-Pretraining.

研究动机与目标

• 研究对抗性预训练是否在微调过程中提升下游鲁棒性。
• 比较对抗性预训练与对抗性微调在鲁棒性和效率方面的表现。
• 评估不同自监督预训练任务对最终模型鲁棒性的影响。
• 探索跨越预训练任务的集成策略以提升鲁棒性。

提出的方法

• 将对抗性训练嵌入到多个自监督预训练任务中（Selfie、Rotation、Jigsaw）。
• 在下游任务上微调分类器，使用鲁棒预训练模型的部分或全部参数重用。
• 提出一个带有促进多样性的正则项的集成目标，用以组合多个预训练任务。
• 在 CIFAR-10 和 CIFAR-10-C 上，在 PGD 攻击及未见攻击下评估标准准确率与鲁棒准确率。
• 与仅由单一自监督任务正则化的单步对抗性训练进行比较。
• 对数据集大小、输入分辨率和防御选项进行消融研究。

实验结果

研究问题

• RQ1 Q1. 对抗性预训练能够提升下游微调的鲁棒性吗？
• RQ2 Q2. 在鲁棒性和效率方面，对抗性预训练与对抗性微调哪种更有效？
• RQ3 Q3. 自监督预训练任务的选择如何影响最终鲁棒性？
• RQ4 Q4. 自监督预训练任务的集合是否能进一步提升鲁棒性？

主要发现

• 用于对抗性微调的鲁棒预训练模型带来显著提升，例如在 CIFAR-10 上鲁棒准确率提升 3.83%，标准准确率提升 1.3%。
• 对抗性微调对鲁棒性贡献最大，而鲁棒预训练主要加速微调。
• 不同的自监督任务具有不同的对抗性脆弱性，促成集成预训练以获得鲁棒性提升。
• 将三种预训练任务与对抗性微调集成，在 CIFAR-10（AT 设置）上达到 54.64% 的鲁棒准确率和 86.04% 的标准准确率。
• 对抗性预训练加上全对抗性微调所需的训练轮次少于端到端的对抗性训练，指示出效率提升。
• 与带旋转正则化的一次性对抗性训练相比，所提方法在多次试验中对未见攻击的鲁棒性有所提升。