[论文解读] Explore the Effect of Data Selection on Poison Efficiency in Backdoor Attacks

Ziqiang Li, Pengfei Xia+4 more|arXiv (Cornell University)|Oct 15, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出 FUS++，一种新颖的样本选择策略，通过利用遗忘事件和损失曲面曲率识别高贡献的污染样本，提升后门攻击的中毒效率。通过迭代过滤和更新污染样本池，FUS++ 在包括 CIFAR-10、ImageNet-10、AG News、ESC-50 和 Facial Age 在内的多样化基准上，显著优于随机选择的攻击成功率。

ABSTRACT

As the number of parameters in Deep Neural Networks (DNNs) scales, the thirst for training data also increases. To save costs, it has become common for users and enterprises to delegate time-consuming data collection to third parties. Unfortunately, recent research has shown that this practice raises the risk of DNNs being exposed to backdoor attacks. Specifically, an attacker can maliciously control the behavior of a trained model by poisoning a small portion of the training data. In this study, we focus on improving the poisoning efficiency of backdoor attacks from the sample selection perspective. The existing attack methods construct such poisoned samples by randomly selecting some clean data from the benign set and then embedding a trigger into them. However, this random selection strategy ignores that each sample may contribute differently to the backdoor injection, thereby reducing the poisoning efficiency. To address the above problem, a new selection strategy named Improved Filtering and Updating Strategy (FUS++) is proposed. Specifically, we adopt the forgetting events of the samples to indicate the contribution of different poisoned samples and use the curvature of the loss surface to analyses the effectiveness of this phenomenon. Accordingly, we combine forgetting events and curvature of different samples to conduct a simple yet efficient sample selection strategy. The experimental results on image classification (CIFAR-10, CIFAR-100, ImageNet-10), text classification (AG News), audio classification (ESC-50), and age regression (Facial Age) consistently demonstrate the effectiveness of the proposed strategy: the attack performance using FUS++ is significantly higher than that using random selection for the same poisoning ratio.

研究动机与目标

• 为解决后门攻击中随机样本选择效率低下的问题，即低贡献样本会降低中毒效果。
• 探究某些良性样本是否比其他样本对成功注入后门更具贡献，挑战样本贡献均等的假设。
• 开发一种数据选择策略，通过识别并优先选择高影响力样本进行触发注入，从而提升中毒效率。
• 评估所提方法对剪枝防御的鲁棒性，确保在实际部署中具备良好的隐蔽性。

提出的方法

• 该方法使用遗忘事件——即模型微调期间权重更新的幅度——作为样本对后门学习贡献的代理指标。
• 结合每个样本周围损失曲面的曲率，评估污染样本对模型优化轨迹的稳定性和影响。
• FUS++ 采用迭代过滤与更新机制，基于遗忘事件与曲率得分的综合结果，维持一个高质量污染样本池。
• 策略并非随机选择良性数据集中的干净样本，而是基于其对后门成功影响的预测贡献，使用可微分评分函数进行选择。
• 该方法适用于多种数据模态：图像（CIFAR-10、CIFAR-100、ImageNet-10）、文本（AG News）、音频（ESC-50）和回归（Facial Age）。
• 在多种触发器（如‘hello kitty’、‘rainbow-colored tube’）下验证方法，以评估可迁移性与触发-样本交互作用。

实验结果

研究问题

• RQ1 随机选择良性样本用于中毒是否因包含低贡献样本而导致攻击效率低下？
• RQ2 遗忘事件与损失曲面曲率能否作为样本对后门注入贡献的可靠指标？
• RQ3 FUS++ 的性能提升源于类别分布还是样本本身的内在质量？与分布匹配基线相比表现如何？
• RQ4 所选样本与不同触发器之间的相互作用如何影响攻击成功率与可迁移性？
• RQ5 与随机选择或先前策略相比，FUS++ 对剪枝防御的鲁棒性如何？

主要发现

• 在所有评估的数据集和任务中，FUS++ 的攻击成功率显著高于随机选择（RSS）和先前过滤策略（PFS）。
• 在 CIFAR-10 上使用 VGG-13 时，FUS++ 对类别 1（汽车）的攻击成功率高达 92.2%，而 RSS 在相同中毒比例下仅为 83.4%。
• 在相同设置下，FUS++ 对类别 0（飞机）的攻击成功率达 91.0%，优于 RSS（83.1%）和 PFS（87.0%）。
• 即使 RSS 的类别分布与 FUS++ 选择的样本一致，RSS 仍表现较差，证明样本质量而非类别平衡是关键因素。
• FUS++ 选择的样本在不同触发器间表现出可迁移性，但程度取决于触发器的相似性，表明存在样本-触发器交互效应。
• FUS++ 对剪枝防御表现出强鲁棒性，即使在移除 50 个干净样本后仍保持高攻击成功率，优于 RSS 和 PFS。