[论文解读] Free-riders in Federated Learning: Attacks and Defenses

Jierui Lin, Min Du+1 more|arXiv (Cornell University)|Nov 28, 2019

Privacy-Preserving Technologies in Data参考文献 34被引用 68

一句话总结

本论文在联邦学习中定义了 free-rider attacks，提出 STD-DAGMM 检测器以识别伪造梯度更新，并在各种数据分布和隐私设置下评估对随机、delta，以及 advanced delta weight 攻击的防御。

ABSTRACT

Federated learning is a recently proposed paradigm that enables multiple clients to collaboratively train a joint model. It allows clients to train models locally, and leverages the parameter server to generate a global model by aggregating the locally submitted gradient updates at each round. Although the incentive model for federated learning has not been fully developed, it is supposed that participants are able to get rewards or the privilege to use the final global model, as a compensation for taking efforts to train the model. Therefore, a client who does not have any local data has the incentive to construct local gradient updates in order to deceive for rewards. In this paper, we are the first to propose the notion of free rider attacks, to explore possible ways that an attacker may construct gradient updates, without any local training data. Furthermore, we explore possible defenses that could detect the proposed attacks, and propose a new high dimensional detection method called STD-DAGMM, which particularly works well for anomaly detection of model parameters. We extend the attacks and defenses to consider more free riders as well as differential privacy, which sheds light on and calls for future research in this field.

研究动机与目标

• 介绍联邦学习中 free-rider attacks 的概念并激发其对奖励和模型效用的影响的研究动机。
• 刻画可能的伪造梯度攻击并分析其在现有异常检测器下的可检测性。
• 提出一种新的高维检测方法（STD-DAGMM），以稳健地检测伪更新。
• 在不同数据分布和隐私考虑（包括差分隐私）下评估攻击防御。

提出的方法

• 将 free-riders 定义为在没有本地数据训练的情况下提交伪造梯度更新的客户端。
• 开发并分析攻击策略：随机权重、delta 权重，以及带高斯噪声的高级 delta 权重。
• 将 STD（标准差）并入 DAGMM，形成 STD-DAGMM 以提升检测。
• 将 DAGMM 作为模型更新向量的高维异常检测器。
• 在 MNIST 上以不同数据分布和学习率进行经验性评估检测性能；将讨论扩展到差分隐私。

实验结果

研究问题

• RQ1 在不同攻击策略和数据分布下，free-rider 客户端如何构造能够绕过常见检测器的伪造梯度更新？
• RQ2 高维异常检测器（DAGMM）和提出的 STD-DAGMM 在识别伪更新方面在不同攻击策略和数据分布下的有效性如何？
• RQ3 学习率、数据异质性和差分隐私如何影响 free-rider 攻击的可检测性以及防御的鲁棒性？

主要发现

• 随机权重攻击可以逃避自编码器检测，但 DAGMM 能检测到；STD-DAGMM 进一步提升检测效果。
• delta 权重攻击在某些设置下可以逃避 DAGMM，但在学习率 eta 和数据分布下 STD-DAGMM 仍然有效。
• STD-DAGMM 在包含带高斯噪声的高级 delta 权重等场景下的一致性检测到 free-riders，优于在所有情景下单独使用 DAGMM。
• 差分隐私可以减弱攻击的有效性并可能帮助检测，表明 DP 对攻击可行性和防御均有影响。
• 对于多位 free-riders 及不同比例，STD-DAGMM 的 AUC 高于 DAGMM，尽管没有阈值在所有情况下都能完美分离所有攻击者。