[论文解读] Learning the Unlearnable: Adversarial Augmentations Suppress Unlearnable Example Attacks

Tianrui Qin, Xitong Gao+3 more|arXiv (Cornell University)|Mar 27, 2023

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出 UEraser，一种针对不可学习样本攻击的新防御方法，通过使用最大化误差的数据增强来抑制由对抗性扰动形成的遗忘捷径。与局限于 ℓp 有界扰动的传统对抗训练不同，UEraser 利用超越这些约束的自然、现实的增强方法，实现最先进的性能，同时保持极低的准确率损失——在不可学习的 CIFAR-10 数据上恢复了 95.24% 的测试准确率，几乎与干净训练结果相当。

ABSTRACT

Unlearnable example attacks are data poisoning techniques that can be used to safeguard public data against unauthorized use for training deep learning models. These methods add stealthy perturbations to the original image, thereby making it difficult for deep learning models to learn from these training data effectively. Current research suggests that adversarial training can, to a certain degree, mitigate the impact of unlearnable example attacks, while common data augmentation methods are not effective against such poisons. Adversarial training, however, demands considerable computational resources and can result in non-trivial accuracy loss. In this paper, we introduce the UEraser method, which outperforms current defenses against different types of state-of-the-art unlearnable example attacks through a combination of effective data augmentation policies and loss-maximizing adversarial augmentations. In stark contrast to the current SOTA adversarial training methods, UEraser uses adversarial augmentations, which extends beyond the confines of $ \ell_p $ perturbation budget assumed by current unlearning attacks and defenses. It also helps to improve the model's generalization ability, thus protecting against accuracy loss. UEraser wipes out the unlearning effect with error-maximizing data augmentations, thus restoring trained model accuracies. Interestingly, UEraser-Lite, a fast variant without adversarial augmentations, is also highly effective in preserving clean accuracies. On challenging unlearnable CIFAR-10, CIFAR-100, SVHN, and ImageNet-subset datasets produced with various attacks, it achieves results that are comparable to those obtained during clean training. We also demonstrate its efficacy against possible adaptive attacks. Our code is open source and available to the deep learning community: https://github.com/lafeat/ueraser.

研究动机与目标

• 为应对日益增长的不可学习样本攻击威胁，此类攻击通过污染数据集来阻止模型学习，同时保护隐私。
• 挑战一种假设，即数据增强在对抗遗忘毒化攻击方面无效，尤其是与对抗训练相比。
• 开发一种超越 ℓp 扰动约束的防御机制，避免对抗训练中常见的准确率下降问题。
• 评估对自适应攻击的鲁棒性，并探索多样化增强策略在恢复模型性能方面的有效性。

提出的方法

• UEraser 使用最大化误差的数据增强，扩展至当前遗忘攻击所假设的 ℓp 扰动边界之外，从而破坏遗忘捷径。
• 它结合了多种自然数据增强策略——PlasmaBrightness、PlasmaContrast、ChannelShuffle 和 TrivialAugment——通过概率为 0.5 的随机采样选择。
• 该方法在训练过程中对对抗性增强进行重复采样（K 次），以最大化对中毒样本的错误率，从而增强鲁棒性。
• 一种轻量级变体 UEraser-Lite（K=1）省略了对抗性采样，但仍能实现高干净准确率，证明其在无需大量计算的情况下依然有效。
• 该方法利用标准增强库（Kornia）及默认超参数，确保兼容性和可复现性。
• UEraser 通过应用现实、分布保持的变换来提升模型泛化能力，避免引入分布外扰动。

实验结果

研究问题

• RQ1 是否能够通过扩展至 ℓp 扰动边界之外的数据增强策略，有效防御不可学习样本攻击？
• RQ2 在面对遗忘攻击时，最大化误差增强是否优于传统对抗训练以保持模型准确率？
• RQ3 是否可以设计一种既有效又高效的防御机制，避免对抗训练中常见的准确率下降？
• RQ4 UEraser 对针对现有防御机制的自适应攻击具有多强的韧性？
• RQ5 自然、现实的增强在多大程度上能恢复不可学习数据上的模型性能？

主要发现

• UEraser 在使用 EM 攻击（ℓ∞ = 8/255）生成的不可学习 CIFAR-10 数据上实现了 95.24% 的测试准确率，几乎与干净训练的 95.36% 准确率相当。
• UEraser-Lite 仅使用 K=1 次增强采样，达到 90.78% 的准确率，显著优于基线防御方法如对抗训练和图像捷径压缩。
• 增加增强采样迭代次数（K）可提升防御性能，K=10 在 UEraser-Max 下实现 94.06% 的准确率，表明其具备良好的可扩展性。
• UEraser 在多个数据集上表现稳健，包括 CIFAR-100、SVHN 和 ImageNet-子集，在五种 SOTA 忘记攻击下均保持高性能。
• UEraser 对自适应攻击具有强韧性，在准确率保持方面优于现有防御方法，如对抗训练和图像捷径压缩。
• 该方法在不引入分布外扰动的前提下提升了模型泛化能力，避免了标准对抗训练中常见的准确率损失。