[论文解读] CPFed: Communication-Efficient and Privacy-Preserving Federated Learning.

Rui Hu, Yanmin Gong+1 more|arXiv (Cornell University)|Mar 30, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用 14

一句话总结

CPFed 是一种通信高效且隐私保护的联邦学习框架，通过结合周期性平均、高斯噪声注入以及基于同态加密的安全聚合，降低通信开销并防止隐私泄露。该框架在凸与非凸模型上均实现了高模型准确率，并具备形式化的隐私保证和理论收敛速率。

ABSTRACT

Federated learning is a machine learning setting where a set of edge devices iteratively train a model under the orchestration of a central server, while keeping all data locally on edge devices. In each iteration of federated learning, edge devices perform computation with their local data, and the local computation results are then uploaded to the server for model update. During this process, the challenges of privacy leakage and communication overhead arise due to the extensive information exchange between edge devices and the server. In this paper, we develop CPFed, a communication-efficient and privacy-preserving federated learning method, to solve the above challenges. CPFed integrates three key components: (1) periodic averaging where local computation results at edge devices are only periodically averaged at the server; (2) Gaussian mechanism where edge devices randomly perturb their local computation results before sending the results to the server; and (3) secure aggregation where the perturbed local computation results are homomorphically encrypted before being sent to the server. CPFed can address both the communication efficiency and privacy leakage challenges in federated learning while achieving high model accuracy. We provide an end-to-end privacy guarantee of CPFed and analyze its theoretical convergence rates for both convex and non-convex models. Through extensive numerical experiments on real-world datasets, we demonstrate the effectiveness and efficiency of our proposed method.

研究动机与目标

• 通过减少边缘设备向服务器发送模型更新的频率，缓解联邦学习中的通信开销问题。
• 缓解联邦学习中因传输本地模型更新而引发的隐私泄露风险。
• 在减少通信量和增加隐私保护机制的前提下，保持高模型准确率。
• 通过差分隐私与安全聚合相结合，提供端到端的隐私保证。
• 理论上分析在所提框架下凸优化与非凸优化问题的收敛速率。

提出的方法

• 实施周期性平均，即在边缘设备上累积本地模型更新，并仅周期性地发送至服务器，从而降低通信频率。
• 通过在传输前向本地模型更新中注入校准的随机噪声，应用高斯机制以确保差分隐私。
• 使用同态加密在服务器端对扰动后的模型更新进行安全聚合，而无需解密单个贡献。
• 将周期性平均、噪声注入与安全聚合三个组件整合为统一框架，同时应对通信与隐私挑战。
• 通过结合差分隐私与安全聚合，确保端到端隐私，防止从传输更新中推断出个体数据。
• 理论分析建立了CPFed协议下凸与非凸目标函数的收敛速率。

实验结果

研究问题

• RQ1 如何在不牺牲模型准确率的前提下提升联邦学习中的通信效率？
• RQ2 通过高斯噪声实现的差分隐私在多大程度上可减少联邦学习中的隐私泄露？
• RQ3 结合同态加密的安全聚合能否防止对单个设备更新的重建？
• RQ4 在凸与非凸设置下，所提框架的理论收敛行为如何？
• RQ5 周期性平均、噪声注入与安全聚合的集成对真实世界数据集上的整体模型性能有何影响？

主要发现

• CPFed 通过周期性平均限制模型更新的传输频率，显著降低了通信开销。
• 高斯噪声与安全聚合的集成提供了正式的端到端隐私保证，保护了个体数据贡献。
• 该方法在真实世界数据集上保持了高模型准确率，证明了其在减少通信与增加隐私机制下的实际可行性。
• 理论分析证实了凸与非凸模型的收敛性，支持了该框架的鲁棒性。
• 大量数值实验验证了CPFed在真实联邦学习场景中的有效性与高效性。