[论文解读] Shuffled Model of Federated Learning: Privacy, Communication and Accuracy Trade-offs

Antonious M. Girgis, Deepesh Data+3 more|arXiv (Cornell University)|Aug 17, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用 11

一句话总结

本文提出了一种通信高效、隐私保护的联邦学习框架，采用混洗模型以在最小通信开销下实现强隐私保障。通过结合 ℓ_p 空间中的最优压缩均值估计、通过客户端/数据采样实现的隐私放大以及安全混洗机制，该方法在保持与全精度方法相当的隐私-准确率权衡的同时，将通信成本降低了数量级。

ABSTRACT

We consider a distributed empirical risk minimization (ERM) optimization problem with communication efficiency and privacy requirements, motivated by the federated learning (FL) framework. Unique challenges to the traditional ERM problem in the context of FL include (i) need to provide privacy guarantees on clients' data, (ii) compress the communication between clients and the server, since clients might have low-bandwidth links, (iii) work with a dynamic client population at each round of communication between the server and the clients, as a small fraction of clients are sampled at each round. To address these challenges we develop (optimal) communication-efficient schemes for private mean estimation for several $\ell_p$ spaces, enabling efficient gradient aggregation for each iteration of the optimization solution of the ERM. We also provide lower and upper bounds for mean estimation with privacy and communication constraints for arbitrary $\ell_p$ spaces. To get the overall communication, privacy, and optimization performance operation point, we combine this with privacy amplification opportunities inherent to this setup. Our solution takes advantage of the inherent privacy amplification provided by client sampling and data sampling at each client (through Stochastic Gradient Descent) as well as the recently developed privacy framework using anonymization, which effectively presents to the server responses that are randomly shuffled with respect to the clients. Putting these together, we demonstrate that one can get the same privacy, optimization-performance operating point developed in recent methods that use full-precision communication, but at a much lower communication cost, i.e., effectively getting communication efficiency for "free".

研究动机与目标

• 解决在低带宽客户端连接条件下，实现联邦学习中强隐私保障的同时最小化通信成本的挑战。
• 通过利用混洗模型增强隐私放大，克服局部差分隐私（LDP）导致模型效用下降的局限性。
• 为支持联邦学习中的梯度聚合，设计适用于各种 ℓ_p 范数空间的最优、通信高效的私有均值估计方案。
• 整合多种隐私放大机制——客户端采样、SGD 中的数据采样以及安全混洗，以在不牺牲优化性能的前提下增强端到端隐私保障。
• 在显著降低通信成本的前提下，实现与全精度方法相同的隐私-准确率工作点，从而实现‘免费’的效率提升。

提出的方法

• 为 ℓ_p 空间中的私有均值估计设计了阶最优的通信高效机制，适用于联邦学习中的梯度聚合。
• 应用差分隐私的混洗模型，其中客户端响应在到达服务器前通过随机混洗实现匿名化，从而在隐私保障上超越 LDP。
• 利用随机客户端采样和 SGD 中固有的小批量数据采样实现隐私放大，降低有效隐私损失。
• 通过范数不等式与集中极限不等式，推导出在隐私与通信约束下梯度方差的紧致上界。
• 结合压缩梯度传输与隐私保护的混洗及采样机制，在保持模型收敛性的同时最小化带宽消耗。
• 采用统一的分析框架，量化不同 ℓ_p 空间中通信成本、隐私（以 ε 表示）与优化误差之间的权衡关系。

实验结果

研究问题

• RQ1 我们能否为联邦学习中的任意 ℓ_p 范数空间设计通信高效且最优的私有均值估计方案？
• RQ2 将混洗与客户端及数据采样相结合，如何实现隐私放大并减少梯度聚合中的噪声需求？
• RQ3 在混洗联邦学习模型中，通信成本、隐私（ε）与优化误差之间的根本权衡关系是什么？
• RQ4 我们能否在将通信成本降低数量级的同时，实现与全精度方法相同的隐私-准确率性能？
• RQ5 在 ℓ_p 空间中，联合考虑通信与隐私约束下，私有均值估计误差的紧致下界与上界分别是什么？

主要发现

• 所提方法在实现与先前全精度方法相当的隐私-准确率工作点的同时，显著降低了通信成本，实现了通信效率的‘免费’提升。
• 对于关于 ℓ_2 范数满足 L-Lipschitz 条件的函数，该方案达到了中心式差分隐私中已建立的最优过剩风险界，如 [BST14] 所述，同时保持完全分布式。
• 算法的收敛率受 𝒪(LD log(T) max{d^{1/2−1/p}, 1} / √T × √(cd/(qn)) × ((e^{ε₀}+1)/(e^{ε₀}−1))) 限制，表明隐私噪声随模型规模呈次线性增长，且通信成本较低。
• 该方法在任意 ℓ_p 空间中，对联合通信与隐私约束下的私有均值估计误差提供了紧致的上下界。
• 当 √(cd/(qn)) × ((e^{ε₀}+1)/(e^{ε₀}−1)) 为 Ω(1) 时，收敛率与该量成比例下降，表明隐私预算与通信效率之间存在明确的权衡。
• 分析结果证实，混洗与采样相结合可使隐私放大效果达到 1/√m 量级，显著优于相同设置下的 LDP，从而大幅提升实用性。