[论文解读] D2P-Fed: Differentially Private Federated Learning With Efficient Communication

Lun Wang, Ruoxi Jia+1 more|arXiv (Cornell University)|Jun 22, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用 20

一句话总结

D2P-FED 提出了一种新颖的联邦学习框架，结合离散高斯噪声注入、安全聚合、随机量化和随机旋转，实现了强大的差分隐私保护并降低了通信成本。与 prior work 如 cpSGD 相比，它在同等隐私预算下实现了更紧密的隐私组合，使模型准确率提高 4.7% 至 13.0%，同时将通信成本降低三分之一。

ABSTRACT

In this paper, we propose the discrete Gaussian based differentially private federated learning (D2P-Fed), a unified scheme to achieve both differential privacy (DP) and communication efficiency in federated learning (FL). In particular, compared with the only prior work taking care of both aspects, D2P-Fed provides stronger privacy guarantee, better composability and smaller communication cost. The key idea is to apply the discrete Gaussian noise to the private data transmission. We provide complete analysis of the privacy guarantee, communication cost and convergence rate of D2P-Fed. We evaluated D2P-Fed on INFIMNIST and CIFAR10. The results show that D2P-Fed outperforms the-state-of-the-art by 4.7% to 13.0% in terms of model accuracy while saving one third of the communication cost.

研究动机与目标

• 为解决联邦学习中差分隐私与高通信成本的双重挑战。
• 开发一个统一框架，同时确保强隐私保障并最小化通信开销。
• 通过使用离散高斯机制，改进 cpSGD，实现更紧密的隐私组合和更低的噪声尺度。
• 在客户端动态参与的实际场景中，实现隐私保护联邦学习的实用化部署。

提出的方法

• 对客户端更新应用离散高斯机制以注入噪声，确保 Rényi 差分隐私（RDP）。
• 采用安全聚合技术保护个体更新，并降低噪声幅度。
• 集成随机量化与随机旋转，以压缩并稳定模型更新的通信过程。
• 将联邦学习过程视为分布式均值估计问题，以形式化分析效用与收敛性。
• 利用 RDP 组合界推导出比使用二项分布噪声的近似 DP 更紧密的隐私预算。
• 将 RDP 边界转换为 (ε, δ)-DP，以便与 prior work 进行直接比较。

实验结果

研究问题

• RQ1 基于离散高斯机制的方法是否能在联邦学习中实现比现有方法更优的隐私组合与更低的通信成本？
• RQ2 在差分隐私约束下，量化与随机旋转的集成如何影响模型准确率与通信效率？
• RQ3 在客户端动态参与的设置下，D2P-FED 与安全聚合结合是否仍能维持强隐私保障？
• RQ4 在相同隐私预算下，D2P-FED 与 cpSGD 在模型准确率与通信成本方面如何比较？
• RQ5 噪声尺度与量化级别对模型训练收敛性与效用有何影响？

主要发现

• 在相同隐私预算下，D2P-FED 在 INFIMNIST 上比 cpSGD 提高 4.7% 的模型准确率，在 CIFAR10 上提高 13.0%。
• D2P-FED 在保持或提升模型准确率的同时，将通信成本相比 cpSGD 降低了三分之一。
• 离散高斯机制实现了更紧密的隐私组合，使隐私预算呈 O(γ√Tǫ) 的缩放关系，相比 cpSGD 节省了 √log(1/δ) 的因子。
• 由于组合更紧密，D2P-FED 在相同隐私预算下可比 cpSGD 快 O(√log(1/δ)) 倍收敛。
• 在 50% 压缩率下，D2P-FED 的准确率优于 cpSGD 在 25% 压缩率下的表现；而 cpSGD 在 50% 压缩率下无法收敛或超出可接受的隐私预算。
• 在异构数据分布下，该方法仍具有效性，经实证评估验证。