[论文解读] Manipulating SGD with Data Ordering Attacks

Ilia Shumailov, Zakhar Shumaylov+5 more|arXiv (Cornell University)|Apr 19, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用 7

一句话总结

本文提出BRRR攻击——一种利用SGD训练的随机性，通过重新排序小批量或单个数据点来操纵数据顺序的技巧，以破坏模型学习或植入后门。主要贡献在于证明，即使在数据干净且无模型访问权限的情况下，攻击者也能通过战略性地调整数据顺序，严重降低模型准确率或植入后门，其中白盒BOB在CIFAR-10上实现了91%的触发准确率。

ABSTRACT

Machine learning is vulnerable to a wide variety of attacks. It is now well understood that by changing the underlying data distribution, an adversary can poison the model trained with it or introduce backdoors. In this paper we present a novel class of training-time attacks that require no changes to the underlying dataset or model architecture, but instead only change the order in which data are supplied to the model. In particular, we find that the attacker can either prevent the model from learning, or poison it to learn behaviours specified by the attacker. Furthermore, we find that even a single adversarially-ordered epoch can be enough to slow down model learning, or even to reset all of the learning progress. Indeed, the attacks presented here are not specific to the model or dataset, but rather target the stochastic nature of modern learning procedures. We extensively evaluate our attacks on computer vision and natural language benchmarks to find that the adversary can disrupt model training and even introduce backdoors.

研究动机与目标

• 探究在SGD训练期间仅通过对抗性数据排序是否能破坏模型学习过程或植入后门，而无需修改数据或模型架构。
• 评估通过操纵数据批处理和采样顺序，对机器学习模型实施完整性与可用性攻击的可行性。
• 证明此类攻击即使在无模型参数或训练数据访问权限的黑盒环境下依然有效。
• 分析数据排序为何影响随机梯度下降及模型收敛性的理论基础。
• 展示仅通过控制批次顺序即可使用干净数据和标签植入后门，从而实现新型污染攻击。

提出的方法

• 提出三种数据排序攻击类型：批次重排序（BRR）、重排和替换，统称为BRRR攻击。
• 引入批次顺序污染（BOP）和批次顺序后门（BOB）技术，仅使用干净数据和标签来操纵模型参数更新。
• 在白盒环境中使用替代模型，根据模型输出指导数据重排序，实现有针对性的后门注入。
• 采用黑盒攻击者模型，在无目标模型梯度或参数访问的情况下推断最优数据顺序。
• 在多种计算机视觉（CIFAR-10、ImageNet）和自然语言处理（EmbeddingBag、VGG16）基准上应用攻击，测试不同批量大小下的效果。
• 通过测试准确率、触发准确率和触发输入下的错误率等指标评估性能，以衡量攻击成功率。

实验结果

研究问题

• RQ1 仅通过数据排序是否足以干扰使用标准SGD训练的深度神经网络的学习过程？
• RQ2 攻击者在不修改数据或模型架构的前提下，仅通过控制数据批次顺序，能在多大程度上操控模型行为？
• RQ3 在白盒和黑盒环境下，数据排序攻击在植入后门方面的有效性如何？
• RQ4 SGD的随机特性是否使模型容易受到细微数据重排序的影响，而数据完整性得以保持？
• RQ5 架构差异（如CNN与NLP模型）如何影响数据排序后门攻击的成功率？

主要发现

• 一次对抗性排序的训练周期就足以显著减缓甚至完全重置模型的整个学习进度。
• 白盒BOB在CIFAR-10上使用VGG16实现91% ± 13的触发准确率，接近使用扰动数据的传统后门攻击性能。
• 黑盒BOB在相同基准上实现68% ± 19的触发准确率，证明在无模型访问条件下依然有效。
• 在自然语言处理任务中，BOB攻击成功利用50个逗号作为触发器植入后门，在白盒条件下实现高达68.76%的触发准确率。
• 在NLP模型中，较大的批量大小会降低后门成功率，表明其对批次级数据分布和嵌入聚合方式敏感。
• 这些攻击具有模型和数据集无关性，因其利用的是随机学习的基本假设，而非特定模型的漏洞。