[论文解读] Adversarial Self-Supervised Contrastive Learning

Minseon Kim, Jihoon Tack+1 more|arXiv (Cornell University)|Jun 13, 2020

Adversarial Robustness in Machine Learning参考文献 47被引用 83

一句话总结

RoCL 在自监督对比学习框架中通过进行实例级对抗攻击而无需标签，训练出对抗鲁棒的神经网络，鲁棒性可与监督方法媲美，且具有较强的迁移性。

ABSTRACT

Existing adversarial learning approaches mostly use class labels to generate adversarial samples that lead to incorrect predictions, which are then used to augment the training of the model for improved robustness. While some recent works propose semi-supervised adversarial learning methods that utilize unlabeled data, they still require class labels. However, do we really need class labels at all, for adversarially robust training of deep neural networks? In this paper, we propose a novel adversarial attack for unlabeled data, which makes the model confuse the instance-level identities of the perturbed data samples. Further, we present a self-supervised contrastive learning framework to adversarially train a robust neural network without labeled data, which aims to maximize the similarity between a random augmentation of a data sample and its instance-wise adversarial perturbation. We validate our method, Robust Contrastive Learning (RoCL), on multiple benchmark datasets, on which it obtains comparable robust accuracy over state-of-the-art supervised adversarial learning methods, and significantly improved robustness against the black box and unseen types of attacks. Moreover, with further joint fine-tuning with supervised adversarial loss, RoCL obtains even higher robust accuracy over using self-supervised learning alone. Notably, RoCL also demonstrate impressive results in robust transfer learning.

研究动机与目标

• 在不依赖类别标签的对抗训练中，激发深度网络的鲁棒性。
• 提出不需要标签的实例级对抗扰动。
• 开发 RoCL，通过对比学习最大化清晰增加与实例级扰动后的增强视图之间的相似性。
• 证明对白盒、黑盒以及未知攻击的鲁棒性并评估迁移学习能力。

提出的方法

• 引入在不使用标签的情况下混淆实例标识的实例级对抗扰动。
• 将自监督对比学习（SimCLR 风格）扩展以在正样本集中加入对抗扰动。
• 将 RoCL 目标定义为将对比损失应用于增强视图和对抗扰动视图的组合，以及包含对抗样例的正则项（L_RoCL）的正则化项。
• 使用最小-最大形式，其中内部最大化在 epsilon-ball 内对变换后的样本进行扰动以最大化对比损失。
• 采用变换平滑推断以获得变换平均、更加鲁棒的预测。
• 支持线性评估和鲁棒线性评估（r-LE）以评估无监督训练后的类别级鲁棒性。

实验结果

研究问题

• RQ1 是否可以在不使用任何类别标签的情况下，通过自监督学习实现对抗性鲁棒训练？
• RQ2 对增强视图进行实例级对抗扰动是否能够学习对多种攻击类型（包括看不见的攻击）鲁棒的表征？
• RQ3 在鲁棒性和清晰度准确率方面，RoCL 与监督对抗方法相比如何，并且是否能够迁移到其他数据集？
• RQ4 对增强进行变换并进行平均（变换平滑分类器）是否提升鲁棒性和准确性？
• RQ5 将 RoCL 与有监督的对抗性微调或迁移学习结合的效果如何？

主要发现

• 在未标注训练下，RoCL 在 CIFAR-10 上实现了与高强度监督对抗方法相当的鲁棒性。
• RoCL 对黑盒和看不见攻击类型的鲁棒性显著优于某些基线方法。
• 与有监督对抗损失共同微调可在不牺牲清洁准确性的情况下获得更高的鲁棒精度。
• RoCL 在跨 CIFAR-10 与 CIFAR-100 的迁移学习场景中展现出令人印象深刻的鲁棒性。
• 在某些攻击下，变换平滑推断进一步提高鲁棒性和清洁准确性。