[论文解读] Can You Really Backdoor Federated Learning?

Ziteng Sun, Peter Kairouz+2 more|arXiv (Cornell University)|Nov 18, 2019

Privacy-Preserving Technologies in Data参考文献 31被引用 368

一句话总结

这篇论文研究联邦学习中的后门（定向）模型更新污染攻击，利用在现实的非独立同分布数据的 EMNIST 下分析攻击模型，并评估如范数裁剪和弱微分隐私等防御方法。

ABSTRACT

The decentralized nature of federated learning makes detecting and defending against adversarial attacks a challenging task. This paper focuses on backdoor attacks in the federated learning setting, where the goal of the adversary is to reduce the performance of the model on targeted tasks while maintaining good performance on the main task. Unlike existing works, we allow non-malicious clients to have correctly labeled samples from the targeted tasks. We conduct a comprehensive study of backdoor attacks and defenses for the EMNIST dataset, a real-life, user-partitioned, and non-iid dataset. We observe that in the absence of defenses, the performance of the attack largely depends on the fraction of adversaries present and the "complexity'' of the targeted task. Moreover, we show that norm clipping and "weak'' differential privacy mitigate the attacks without hurting the overall performance. We have implemented the attacks and defenses in TensorFlow Federated (TFF), a TensorFlow framework for federated learning. In open-sourcing our code, our goal is to encourage researchers to contribute new attacks and defenses and evaluate them on standard federated datasets.

研究动机与目标

• 用非恶意的定向任务样本来激励并形式化联邦学习中的后门攻击。
• 量化攻击成功率如何依赖于对手比例和定向任务复杂度。
• 在现实的联邦设置中评估如范数裁剪和弱微分隐私等防御。

提出的方法

• 使用来自对手的增强更新将模型替换为带后门的版本的模型更新污染攻击。
• 攻击模型包括对受损客户端的随机抽样和固定频率攻击者。
• 通过在多个目标客户端中错误标注定向类别（例如将 7 标注为 1）来定义后门任务。
• 防御机制包括基于范数的更新裁剪和添加高斯噪声（弱 DP）。
• 在 EMNIST 上使用 TensorFlow Federated 的一个5层卷积神经网络进行实验，改变后门任务数量和攻击者比例。

实验结果

研究问题

• RQ1 在现实的 EMNIST 分布下，联邦学习中的后门（定向）模型更新污染攻击有多有效？
• RQ2 攻击者比例和后门任务复杂度如何影响攻击成功率？
• RQ3 范数裁剪和弱差分隐私是否能在不过度损害主任务性能的情况下缓解后门攻击？
• RQ4 后门任务数量对在联邦学习中给模型植入后门的能力有何影响？
• RQ5 随机抽样与固定频率攻击模型在有效性方面有何比较？

主要发现

• 后门攻击的成功在很大程度上取决于系统中对手的比例。
• 仅在相当比例的客户端被妥协时攻击才有效（例如低于1％会降低效果）。
• 范数裁剪通过对更新范数进行限制显著降低后门成功率。
• 增加少量高斯噪声（弱 DP）在对主任务性能影响有限的前提下进一步缓解攻击。
• 增加后门任务数量使在维持主任务准确性的同时更难拟合恶意模型。
• 固定频率攻击在他们的实验中略微比随机抽样更有效。