[论文解读] Adversarial Examples Make Strong Poisons

Liam Fowl, Micah Goldblum+4 more|arXiv (Cornell University)|Jun 21, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用 33

一句话总结

本论文表明，在固定预训练模型上构造的对抗样本可以作为非常有效的数据污染，训练时使用会削弱或破坏泛化，常常优于先前的污染方法。对类别定向的对抗性污染变体在像 ImageNet 这样的大型数据集上尤为强烈，并且他们发布 ImageNet-P 以促进防御研究。

ABSTRACT

The adversarial machine learning literature is largely partitioned into evasion attacks on testing data and poisoning attacks on training data. In this work, we show that adversarial examples, originally intended for attacking pre-trained models, are even more effective for data poisoning than recent methods designed specifically for poisoning. Our findings indicate that adversarial examples, when assigned the original label of their natural base image, cannot be used to train a classifier for natural images. Furthermore, when adversarial examples are assigned their adversarial class label, they are useful for training. This suggests that adversarial examples contain useful semantic content, just with the ``wrong'' labels (according to a network, but not a human). Our method, adversarial poisoning, is substantially more effective than existing poisoning methods for secure dataset release, and we release a poisoned version of ImageNet, ImageNet-P, to encourage research into the strength of this form of data obfuscation.

研究动机与目标

• 将数据污染作为一种可用性攻击进行动机化，并将其与对抗样本联系起来。
• 提出对抗性污染作为一种在固定模型上设计的简单、有效的污染方法。
• 在 CIFAR-10、ImageNet 与人脸识别上进行评估，以展示可移植性与强度。
• 分析为何对抗样本能作为强污染源，以及防御的有效性研究。

提出的方法

• 将污染形式化为对固定干净模型（theta*）的扰动的经验损失最大化。
• 使用所选损失对 250 步 PGD 构造污染，并采用可微的数据增强。
• 探索将每个源类别映射到目标标签的类定向攻击，并比较非定向与定向性能。
• 在 CIFAR-10 和 ImageNet（包括发布的 ImageNet-P）以及在人脸识别场景中进行评估。
• 与现有污染基线（TensorClog、Loss Minimization、Alignment 等）进行比较。
• 测试包括对抗性训练、各种数据增强以及 DPSGD 的防御方法以评估鲁棒性。

实验结果

研究问题

• RQ1 在可用性攻击中，能否在固定模型上构造的对抗样本超过现有污染方法？
• RQ2 对抗性污染是否携带错误类别的有用语义信息，从而实现有效的训练劣化？
• RQ3 类定向对抗污染在大规模数据集（ImageNet）和人脸识别场景中的表现如何？
• RQ4 标准防御（对抗性训练、数据增强、DPSGD）对抗对抗性污染是否有效？

主要发现

• 对抗性污染在 CIFAR-10 的多种架构上显著降低测试准确率，在 8/255 扰动下，性能常接近随机猜测。
• 在 CIFAR-10 上，8/255 扰动的对抗污染使 ResNet-18 的验证准确率约为 6.25%，远低于先前方法（如 Alignment 53.67%、Adversarial Poisoning 6.25%）。
• ImageNet 上的类别定向污染显著降低验证准确率（例如 4/255 为 45.07%，8/255 为 36.63%，CT 4/255 为 3.57%，CT 8/255 为 1.45%）。
• 在人脸识别中，类别定向污染将平均准确率降至 8.00%，优于不可学习样本的 16.00%。
• 标签校正实验表明，将被污染数据重新标注为设计网络的错误标签可恢复相当的准确率，说明存在可转移的非鲁棒特征。
• 像对抗性训练这样的防御可以缓解污染效应，但显著损害自然准确率且计算成本高。