[论文解读] Federated Learning with Differential Privacy: Algorithms and Performance Analysis

Kang Wei, Jun Li+7 more|arXiv (Cornell University)|Nov 1, 2019

Privacy-Preserving Technologies in Data参考文献 35被引用 88

一句话总结

提出 NbAFL，一种在聚合前添加噪声的基于差分隐私的联邦学习框架，并提供理论收敛界和一个 K-随机调度变体。

ABSTRACT

In this paper, to effectively prevent information leakage, we propose a novel framework based on the concept of differential privacy (DP), in which artificial noises are added to the parameters at the clients side before aggregating, namely, noising before model aggregation FL (NbAFL). First, we prove that the NbAFL can satisfy DP under distinct protection levels by properly adapting different variances of artificial noises. Then we develop a theoretical convergence bound of the loss function of the trained FL model in the NbAFL. Specifically, the theoretical bound reveals the following three key properties: 1) There is a tradeoff between the convergence performance and privacy protection levels, i.e., a better convergence performance leads to a lower protection level; 2) Given a fixed privacy protection level, increasing the number $N$ of overall clients participating in FL can improve the convergence performance; 3) There is an optimal number of maximum aggregation times (communication rounds) in terms of convergence performance for a given protection level. Furthermore, we propose a $K$-random scheduling strategy, where $K$ ($1

研究动机与目标

• 推动隐私保护的联邦学习，防止上传参数造成信息泄露。
• 引入 Noising before Aggregation FL (NbAFL)，通过在客户端和服务器端添加高斯噪声以实现 DP。
• 推导 NbAFL 在 DP 下的理论收敛界，揭示隐私-效用权衡和最优聚合参数。
• 提出一种 K-随机调度方案并分析其对收敛性与隐私性的影响。
• 为设计具有可配置隐私-效用权衡的隐私保护 FL 算法提供指南。

提出的方法

• 将 NbAFL 表述为在上传前对本地更新进行裁剪并添加高斯噪声，服务器在广播前对聚合的全局模型添加噪声。
• 证明在高斯机制下，选择合适的噪声尺度时 NbAFL 满足 (ε,δ)-DP。
• 推导 NbAFL 的收敛界，显示收敛性能、隐私水平 ε、客户端数量 N 和聚合轮次 T 之间的权衡。
• 将分析扩展到每次聚合有 K 个客户端参与的 K-随机调度方案，并推导相应的 DP 保证和收敛界。
• 给出上行和下行信道的噪声尺度的闭式表达，以及维护 DP 的条件。

实验结果

研究问题

• RQ1 如何在保持模型效用的同时，将差分隐私引入 NbAFL？
• RQ2 在 DP 下 NbAFL 的收敛性质如何，隐私水平、客户端数量和聚合轮次如何相互作用？
• RQ3 与全客户端聚合相比，K-随机调度的客户端如何影响 DP 保证和收敛性能？
• RQ4 在给定隐私水平和 N 的情况下，平衡隐私保护和收敛精度的最优设置（例如聚合轮次、K）是什么？

主要发现

• NbAFL 通过在客户端端和服务器端调整高斯噪声方差，可以满足 (ε,δ)-DP。
• 理论收敛界显示一个权衡：更好的收敛对应较低的隐私保护（较大 ε）。
• 在固定隐私水平下，增加参与客户端的数量 N 可以改善收敛。
• 存在给定隐私水平和 N 时的最大聚合轮次 T 的最优值。
• 在 K-随机调度下，存在相应的 DP 保证和收敛界，并且存在一个最佳的 K 以在固定隐私水平下实现最佳收敛。
• 仿真验证了理论界限，并与所提 DP 驱动设计保持一致。