[论文解读] A Little Is Enough: Circumventing Defenses For Distributed Learning

Moran Baruch, Gilad Baruch+1 more|arXiv (Cornell University)|Feb 16, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用 47

一句话总结

本文表明，来自被污染的工作节点对大量参数进行的微小、协同扰动，便可击败分布式 SGD 的所有现有防御，并且还可对模型进行后门攻击，而无需全知攻击者的知识。

ABSTRACT

Distributed learning is central for large-scale training of deep-learning models. However, they are exposed to a security threat in which Byzantine participants can interrupt or control the learning process. Previous attack models and their corresponding defenses assume that the rogue participants are (a) omniscient (know the data of all other participants), and (b) introduce large change to the parameters. We show that small but well-crafted changes are sufficient, leading to a novel non-omniscient attack on distributed learning that go undetected by all existing defenses. We demonstrate our attack method works not only for preventing convergence but also for repurposing of the model behavior (backdooring). We show that 20% of corrupt workers are sufficient to degrade a CIFAR10 model accuracy by 50%, as well as to introduce backdoors into MNIST and CIFAR10 models without hurting their accuracy

研究动机与目标

• 在 i.i.d. 假设下进行的非全知式分布式学习攻击进行动机化与形式化。
• 演示微小且协同的参数变化可以击败最先进的防御方法（Trimmed Mean、Krum、Bulyan）。
• 展示同样的扰动既能破坏收敛，又能实现模型的后门化。
• 提出一种方法学，用以计算在常见防御下可避免被检测的安全扰动范围。

提出的方法

• 在非拜占庭工作者采用正态分布假设的前提下，分析每个参数均值周围的扰动范围。
• 推导在标准差单位内的最大扰动 z^max，使其在 Trimmed Mean 下不被检测，进而在 Krum 和 Bulyan 下也不被检测。
• 通过将被污染的工作节点的参数设为 mean + z^max * sigma（每个参数），构建一个非全知式攻击。
• 通过在扰动范围内进行优化来证明可阻止收敛并实现后门化（带有保持整体准确性的损失项）。
• 提供后门策略，包括后门样本攻击和后门模式攻击，在可行扰动区域内进行优化，同时尽量减小与原始参数的偏差。

实验结果

研究问题

• RQ1 在没有全知攻击者知识的情况下，跨越被污染工作节点的微小、协同行动的参数扰动是否能在分布式 SGD 中击败现有聚合防御？
• RQ2 在 Trimmed Mean、Krum 和 Bulyan 防御下，在哪个单位（以每个参数的标准差为单位）的扰动范围足以误导收敛或启用后门？
• RQ3 在 i.i.d. 数据假设下，是否有可能在保持良性精度高的同时实现有效的后门化？
• RQ4 在常见防御下，该攻击在不同数据集（MNIST、CIFAR-10）和模型架构之间的迁移性如何？

主要发现

• 对大量参数进行的小幅、有方向性的改变即可击败分布式学习中所有评估的防御方法（Trimmed Mean、Krum、Bulyan）。
• 扰动大约达到 1–1.5 个标准差时，可以显著降低 CIFAR-10 的准确性，而 MNIST 更具鲁棒性，但也会受到影响。
• Krum 对该攻击特别脆弱；Bulyan 和 Trimmed Mean 亦被绕过，甚至在大约 24–48% 的工作节点被污染时（取决于防御变体）。
• 该攻击能够实现后门化，在对靶向输入取得攻击者控制的输出，同时对良性准确率几乎无影响，适用于各类防御。
• 在某些情景中，No Defense（纯均值聚合）对该攻击表现最好，这突显了鲁棒性与对后门脆弱性之间的实际权衡。