[论文解读] Mitigating Sybils in Federated Learning Poisoning

Clement Fung, Chris J. M. Yoon+1 more|arXiv (Cornell University)|Aug 14, 2018

Privacy-Preserving Technologies in Data参考文献 43被引用 360

一句话总结

本文介绍了 FoolsGold，一种基于互客户端梯度相似性的自适应客户端学习率的联邦学习防御，用以在不假设固定攻击者数量的情况下缓解基于 Sybil 的投毒。

ABSTRACT

Machine learning (ML) over distributed multi-party data is required for a variety of domains. Existing approaches, such as federated learning, collect the outputs computed by a group of devices at a central aggregator and run iterative algorithms to train a globally shared model. Unfortunately, such approaches are susceptible to a variety of attacks, including model poisoning, which is made substantially worse in the presence of sybils. In this paper we first evaluate the vulnerability of federated learning to sybil-based poisoning attacks. We then describe \emph{FoolsGold}, a novel defense to this problem that identifies poisoning sybils based on the diversity of client updates in the distributed learning process. Unlike prior work, our system does not bound the expected number of attackers, requires no auxiliary information outside of the learning process, and makes fewer assumptions about clients and their data. In our evaluation we show that FoolsGold exceeds the capabilities of existing state of the art approaches to countering sybil-based label-flipping and backdoor poisoning attacks. Our results hold for different distributions of client data, varying poisoning targets, and various sybil strategies. Code can be found at: https://github.com/DistributedML/FoolsGold

研究动机与目标

• 动机并量化联邦学习对基于Sybil的中毒攻击的脆弱性。
• 提出一种防御（FoolsGold），使用贡献相似性来降低相似的（潜在的 Sybil）更新权重。
• 在多样的数据集、模型和中毒策略上展示有效性。
• 表明该防御不依赖外部攻击者数量参数，并能与现有防御互补。

提出的方法

• 对来自客户端的模型更新进行分析，使用指示特征的余弦相似性来衡量方向相似性。
• 逐个客户端累积历史更新，以随时间衡量贡献相似性。
• 一种宽恕机制对相似性进行放缩，避免在与Sybil混合时惩罚诚实客户端。
• 基于逻辑回归（带有置信参数）的重新加权将相似性转化为聚合时的每客户端学习率。
• 最终更新 w_{t+1} = w_t + sum_i alpha_i * Delta_i,t 使用这些自适应缩放的更新。
• 该方法兼容 FEDSGD 和 FEDAVG，不需要验证数据或限定攻击者数量。

实验结果

研究问题

• RQ1 联邦学习是否可以对任意数量的Sybil攻击者保持鲁棒，而不需要显式的攻击者边界假设？
• RQ2 在非IID数据分布下，基于相似性的客户端学习率自适应能否有效缓解标签翻转和后门中毒？
• RQ3 在各种Sybil策略和数据集下，FoolsGold 相对于以往防御（如 Multi-Krum）的表现如何？
• RQ4 基于梯度相似性使用自适应学习率的收敛性和鲁棒性含义是什么？

主要发现

	Baseline	Attack 1	Attack 2	Attack Success Rate	Accuracy (digits: 0,2-9)	Accuracy (digit: 1)
MNIST（基线）	10	10	10	0%	90.2%	96.5%
MNIST 攻击 1	10	1	?	35.9%	89.4%	60.7%
MNIST 攻击 2	10	2	?	96.2%	88.8%	0.0%

• FoolsGold 在多个数据集（MNIST、VGGFace2、KDDCup99、Amazon）上降低了基于 Sybil 的中毒影响。
• 基于历史梯度相似性的自适应每客户端学习率在抑制 Sybil 贡献的同时保留诚实更新。
• FoolsGold 在数据分布、中毒目标和Sybil策略改变时仍然有效，并且不需要指定攻击者数量。
• 该方法对标签翻转和后门攻击显示出强防御，在所报告的情景中优于某些基线防御。
• FoolsGold 可以与现有防御（如 Multi-Krum）结合，以增强保护。