[论文解读] Are Labels Required for Improving Adversarial Robustness?

Jonathan Uesato, Jean-Baptiste Alayrac+4 more|arXiv (Cornell University)|May 31, 2019

Adversarial Robustness in Machine Learning参考文献 55被引用 92

一句话总结

本文表明未经标签的数据在对抗性训练中可匹配有标签数据的大部分鲁棒性提升，提出了无监督对抗性训练（UAT），并在显著少量标签的情况下展示近似有监督的性能，以及使用无清洗数据的改进。

ABSTRACT

Recent work has uncovered the interesting (and somewhat surprising) finding that training models to be invariant to adversarial perturbations requires substantially larger datasets than those required for standard classification. This result is a key hurdle in the deployment of robust machine learning models in many real world applications where labeled data is expensive. Our main insight is that unlabeled data can be a competitive alternative to labeled data for training adversarially robust models. Theoretically, we show that in a simple statistical setting, the sample complexity for learning an adversarially robust model from unlabeled data matches the fully supervised case up to constant factors. On standard datasets like CIFAR-10, a simple Unsupervised Adversarial Training (UAT) approach using unlabeled data improves robust accuracy by 21.7% over using 4K supervised examples alone, and captures over 95% of the improvement from the same number of labeled examples. Finally, we report an improvement of 4% over the previous state-of-the-art on CIFAR-10 against the strongest known attack by using additional unlabeled data from the uncurated 80 Million Tiny Images dataset. This demonstrates that our finding extends as well to the more realistic case where unlabeled data is also uncurated, therefore opening a new avenue for improving adversarial training.

研究动机与目标

• 推动使用无标签数据来提升对抗鲁棒性并减少对有标签数据的依赖。
• 引入无监督对抗性训练（UAT）策略，以利用无标签数据构建鲁棒分类器。
• 在高斯模型中对有无标签的样本复杂度进行理论比较。
• 在 CIFAR-10 和 SVHN 上，在强对抗攻击和未整理数据条件下对 UAT 进行经验评估。
• 推动在大规模无标签数据下达到最先进的鲁棒性。

提出的方法

• 使用一个内部极大化对手（基于 PGD）的对手来定义对抗性风险、自然风险以及代理对抗性风险。
• 提出两种 UAT 策略：带在线目标的无监督对抗性训练（UAT-OT）和带固定目标的无监督对抗性训练（UAT-FT），以及组合变体 UAT++。
• 将监督损失与无监督平滑损失结合，由权重超参数 λ 控制。
• 给出高斯模型的理论分析，表明在固定鲁棒精度下无标签数据可以达到与有监督相同的样本复杂度。
• 在 CIFAR-10 和 SVHN 上以 ε=8/255 和 ε=0.01 进行评估，包括使用 80 Million Tiny Images 作为未整理无标签数据的实验。

实验结果

研究问题

• RQ1 无标签数据是否能在固定数据预算下实现与有标签数据可比的对抗鲁棒性？
• RQ2 UAT 变体（OT、FT 和 ++）在 CIFAR-10 和 SVHN 上在常规和强对抗攻击下的表现如何？
• RQ3 未整理的无标签数据（例如 80 Million Tiny Images）是否提高了 CIFAR-10 的最先进鲁棒性？
• RQ4 有标签数据与无标签数据之间的分布偏移对 UAT 的鲁棒性有何影响？
• RQ5 在伪标签过程中的标签噪声对 UAT 的鲁棒性有多大影响？

主要发现

• 无标签数据在对抗鲁棒性方面可以与有标签数据具有竞争力；UAT 变体在使用相同标签数据的基线下显著提高鲁棒性。
• UAT-FT 和 UAT++ 往往优于 UAT-OT，尤其是在更大的无标签集合下，且在 CIFAR-10 和 SVHN 的 FGSM 威胁模型下，UAT++ 逼近有监督的 oracle。
• 在使用 32K 无标签样本的 CIFAR-10 上，UAT++ 实现 54.1% 的鲁棒准确率，而有监督为 55.5%，即距离有监督 oracle 仅相差 1.4 个百分点。
• 在 60K 无标签样本下，UAT++ 在 SVHN 上达到 84.4% 的鲁棒准确率，距离有监督 oracle 仅相差 1.8 个百分点。
• 使用未整理数据（80m Tiny Images）配合更大规模的模型，在 CIFAR-10 上对强攻击达到 state-of-the-art 的鲁棒性，例如 WRN-106 在 MultiTargeted 攻击下达到 56.30%。
• 在 FGSM 20 和 MultiTargeted 攻击下，UAT++ 使用 200K 无标签的 80m 数据与 WRN-34/106 相对于 TRADES 和其他基线显示出显著提升。
• 该方法对标签噪声具有鲁棒性，即使伪标签带有噪声或部分被污染时也能取得显著提升。