[论文解读] Model-Targeted Poisoning Attacks with Provable Convergence

Fnu Suya, Saeed Mahloujifar+3 more|arXiv (Cornell University)|Jun 30, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 7

一句话总结

本文提出了一种针对凸机器学习模型的模型目标中毒攻击，通过在线凸优化方法，可证明收敛至指定的目标分类器。通过逐步添加中毒样本，该方法确保模型以与中毒样本数量平方根成反比的速率收敛至目标，且存在最小所需样本数的下界，其成功率和收敛稳定性优于先前的攻击方法。

ABSTRACT

In a poisoning attack, an adversary with control over a small fraction of the training data attempts to select that data in a way that induces a corrupted model that misbehaves in favor of the adversary. We consider poisoning attacks against convex machine learning models and propose an efficient poisoning attack designed to induce a specified model. Unlike previous model-targeted poisoning attacks, our attack comes with provable convergence to {\it any} attainable target classifier. The distance from the induced classifier to the target classifier is inversely proportional to the square root of the number of poisoning points. We also provide a lower bound on the minimum number of poisoning points needed to achieve a given target classifier. Our method uses online convex optimization, so finds poisoning points incrementally. This provides more flexibility than previous attacks which require a priori assumption about the number of poisoning points. Our attack is the first model-targeted poisoning attack that provides provable convergence for convex models, and in our experiments, it either exceeds or matches state-of-the-art attacks in terms of attack success rate and distance to the target model.

研究动机与目标

• 解决现有中毒攻击方法在局部最优解处受困且缺乏收敛保证的局限性。
• 设计一种可证明收敛至凸模型中任意可达目标分类器的模型目标攻击。
• 通过支持增量式、在线构建中毒数据，消除对中毒样本数量先验知识的需求。
• 提供达到目标模型收敛所需最小中毒样本数的理论边界。
• 在不同模型权重初始化和数据分批条件下，提升攻击的有效性和稳定性。

提出的方法

• 攻击利用在线凸优化逐步生成中毒样本，避免依赖固定批量大小或预设样本数量。
• 将中毒问题建模为对训练目标的极小化-极大化优化问题，利用KKT条件以提高可计算性。
• 通过最小化诱导模型与目标模型之间的距离，确保收敛至目标分类器，收敛速率为O(1/√n)，其中n为中毒样本数量。
• 候选中毒样本集合被限制为仅包含目标子群体中的误分类样本，以提高攻击效率。
• 在每次迭代中，基于当前模型与目标模型之间损失差值的最大值，选择最有效的中毒样本。
• 通过在迭代间使用一致的初始化策略以及目标模型训练，使攻击对模型权重初始化的方差具有鲁棒性。

实验结果

研究问题

• RQ1 针对凸模型的模型目标中毒攻击能否实现对指定目标分类器的可证明收敛？
• RQ2 中毒样本数量与收敛至目标模型速率之间的理论关系是什么？
• RQ3 在不同模型权重初始化和数据分批条件下，该攻击的性能表现如何？
• RQ4 该攻击是否能在成功率和收敛稳定性方面优于标准的标签翻转攻击？
• RQ5 达到给定目标分类器所需的最小中毒样本数是多少？

主要发现

• 攻击实现了对目标分类器的可证明收敛，且与目标之间的距离以O(1/√n)的速率减小，其中n为中毒样本数量。
• 与标签翻转基线相比，该方法在收敛稳定性和攻击成功率方面显著更优。
• 即使在模型权重初始化未知的情况下，该攻击仍能持续优于标签翻转基线，尽管在不同随机种子下性能有所差异。
• 将搜索空间限制在目标子群体中误分类样本的候选集合，显著提升了攻击效率和收敛性。
• 在每次迭代中添加最多十个最优中毒样本的副本，可将攻击执行时间减少近90%，且不损失有效性。
• 当在迭代间使用一致初始化时，该攻击对数据分批和权重初始化方差具有鲁棒性。