[论文解读] A Framework for Evaluating Gradient Leakage Attacks in Federated Learning

Wenqi Wei, Ling Liu+5 more|arXiv (Cornell University)|Apr 22, 2020

Privacy-Preserving Technologies in Data参考文献 43被引用 98

一句话总结

本文提出一个原则性框架，用于评估在联邦学习中梯度泄露攻击如何重建私有训练数据，分析在超参数和压缩设置下攻击的有效性、成本以及缓解措施。

ABSTRACT

Federated learning (FL) is an emerging distributed machine learning framework for collaborative model training with a network of clients (edge devices). FL offers default client privacy by allowing clients to keep their sensitive data on local devices and to only share local training parameter updates with the federated server. However, recent studies have shown that even sharing local parameter updates from a client to the federated server may be susceptible to gradient leakage attacks and intrude the client privacy regarding its training data. In this paper, we present a principled framework for evaluating and comparing different forms of client privacy leakage attacks. We first provide formal and experimental analysis to show how adversaries can reconstruct the private local training data by simply analyzing the shared parameter update from local training (e.g., local gradient or weight update vector). We then analyze how different hyperparameter configurations in federated learning and different settings of the attack algorithm may impact on both attack effectiveness and attack cost. Our framework also measures, evaluates, and analyzes the effectiveness of client privacy leakage attacks under different gradient compression ratios when using communication efficient FL protocols. Our experiments also include some preliminary mitigation strategies to highlight the importance of providing a systematic attack evaluation framework towards an in-depth understanding of the various forms of client privacy leakage threats in federated learning and developing theoretical foundations for attack mitigation.

研究动机与目标

• 为联邦学习中的客户端隐私泄漏定义一个正式的威胁模型。
• 提出一个评估框架，以量化在不同 FL 配置下的攻击有效性和成本。
• 分析攻击配置和 FL 超参数如何影响重建成功率和效率。
• 探讨初步缓解策略，并强调需要对攻击进行系统化评估。

提出的方法

• 将 CPL（client privacy leakage，客户端隐私泄漏）攻击形式化地刻画为基于梯度的从共享更新中进行的数据重构。
• 开发一个攻击管道（Algorithm 1），将权重更新转换为梯度，并使用一个虚拟种子和梯度损失最小化迭代重构私有数据。
• 研究攻击初始化方法、终止条件、梯度损失函数和优化策略，以评估对 ASR 和收敛性的影响。
• 检查FL超参数（batch size、数据分辨率、激活函数）以及通信协议（基线与压缩）对攻击成功率和成本的影响。
• 提出评估指标，包括攻击成功率（ASR）、MSE、SSIM，以及攻击迭代次数，以量化重建质量和效率。

实验结果

研究问题

• RQ1 梯度泄露攻击如何从 FL 的共享更新中重建私有训练数据？
• RQ2 攻击配置（初始种子、终止条件、损失函数、优化器）如何影响攻击成功率和效率？
• RQ3 FL 超参数（batch size、数据分辨率、激活函数）对 CPL 攻击的有效性和成本有何影响？
• RQ4 高效通信协议对梯度泄露攻击的可行性有何影响？

主要发现

• CPL 攻击可以在多个数据集上以高 ASR 和高重构质量从梯度更新中重构私有训练数据。
• 攻击有效性和收敛性对初始化方法、终止条件和优化策略高度敏感，带有模式化初始化的通常优于随机初始化。
• L-BFGS 和其他优化器可以显著影响攻击的成功率和效率，一些配置可带来更快的收敛。
• 高效通信的梯度更新不一定能阻止 CPL 攻击；在某些压缩比下 CPL 仍然有效。
• 激活函数会影响梯度泄漏，ReLU 由于死亡梯度可能抑制攻击，而 Sigmoid/Tanh 不受影响。
• 与先前的攻击相比，CPL-模式在若干数据集上以更高的 ASR 和更少的攻击迭代次数实现更好效果。