[论文解读] LDP-Fed: Federated Learning with Local Differential Privacy

Stacey Truex, Ling Liu+3 more|arXiv (Cornell University)|Jun 5, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用 25

一句话总结

LDP-Fed 提出了一种联邦学习框架，通过集成局部差分隐私（LDP）来保护深度神经网络训练中的高维连续模型参数。该框架引入了一种新颖的 LDP 模块，实现对每个参与方的隐私预算分配，并采用选择性扰动机制以最小化噪声影响，在大规模 DNN 训练中实现了强隐私保障与最小精度损失的平衡。

ABSTRACT

This paper presents LDP-Fed, a novel federated learning system with a formal privacy guarantee using local differential privacy (LDP). Existing LDP protocols are developed primarily to ensure data privacy in the collection of single numerical or categorical values, such as click count in Web access logs. However, in federated learning model parameter updates are collected iteratively from each participant and consist of high dimensional, continuous values with high precision (10s of digits after the decimal point), making existing LDP protocols inapplicable. To address this challenge in LDP-Fed, we design and develop two novel approaches. First, LDP-Fed's LDP Module provides a formal differential privacy guarantee for the repeated collection of model training parameters in the federated training of large-scale neural networks over multiple individual participants' private datasets. Second, LDP-Fed implements a suite of selection and filtering techniques for perturbing and sharing select parameter updates with the parameter server. We validate our system deployed with a condensed LDP protocol in training deep neural networks on public data. We compare this version of LDP-Fed, coined CLDP-Fed, with other state-of-the-art approaches with respect to model accuracy, privacy preservation, and system capabilities.

研究动机与目标

• 解决在共享高维连续模型参数时，联邦学习缺乏正式隐私保障的问题。
• 将局部差分隐私（LDP）从单值分类数据扩展到深度学习中的复杂高精度模型更新。
• 使单个参与方能够自主定义其本地隐私预算，而无需依赖可信聚合方。
• 在保持正式隐私保障的同时，最小化噪声对模型收敛的负面影响。
• 开发一种在大规模联邦学习中于强隐私约束下仍能保持高模型准确性的系统。

提出的方法

• 设计一种新颖的 LDP 模块，对联邦学习中重复的高维模型参数更新应用正式差分隐私。
• 实施一种选择性共享策略，仅在每轮训练中扰动并传输部分模型参数，以减少噪声累积。
• 将连续 LDP 机制适配以处理高精度连续值模型参数（例如小数点后 10 位以上）。
• 在 CLDP-Fed 变体中使用压缩 LDP 协议（CLDP），在保持隐私的同时提升系统效率。
• 集成基于效用感知的扰动技术，平衡隐私预算与模型性能。
• 设计一种支持 LDP 兼容聚合的参数服务器架构，无需依赖可信第三方。

实验结果

研究问题

• RQ1 能否在联邦学习中正式应用局部差分隐私于高维连续模型参数？
• RQ2 如何优化噪声注入，以在确保强隐私保障的同时保留模型效用？
• RQ3 在无可信聚合方的情况下，参与方能否在联邦学习系统中自主定义并执行其本地隐私预算？
• RQ4 在 LDP 增强的联邦学习中，隐私预算、模型准确率与系统效率之间的权衡关系如何？
• RQ5 与现有最先进的隐私保护联邦学习方法相比，LDP-Fed 在隐私性、准确率与系统能力方面表现如何？

主要发现

• LDP-Fed 有效将 LDP 扩展至高维连续模型参数，实现了联邦深度学习中的正式隐私保障。
• CLDP-Fed 变体在保持强隐私保护的同时，与现有最先进方法相比实现了具有竞争力的模型准确率。
• 参与方可本地定义其隐私预算，实现细粒度的个性化隐私保护。
• 选择性扰动与过滤机制显著降低了噪声影响，提升了收敛速度与模型效用。
• LDP-Fed 在系统特性上优于现有方法，通过消除对重型密码学与可信聚合方的依赖。
• 实证评估证实，LDP-Fed 即使在严格的隐私预算下仍能保持高模型准确率，证明了其在实际部署中的可行性。