[论文解读] LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy

Lichao Sun, Jianwei Qian+1 more|arXiv (Cornell University)|Jul 31, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用 32

一句话总结

论文介绍 LDP-FL，一种本地差分隐私联邦学习方案，利用对模型更新的扰动、拆分和洗牌，在 MNIST、Fashion-MNIST 和 CIFAR-10 上实现强隐私并以较低的准确率损失。

ABSTRACT

Train machine learning models on sensitive user data has raised increasing privacy concerns in many areas. Federated learning is a popular approach for privacy protection that collects the local gradient information instead of real data. One way to achieve a strict privacy guarantee is to apply local differential privacy into federated learning. However, previous works do not give a practical solution due to three issues. First, the noisy data is close to its original value with high probability, increasing the risk of information exposure. Second, a large variance is introduced to the estimated average, causing poor accuracy. Last, the privacy budget explodes due to the high dimensionality of weights in deep learning models. In this paper, we proposed a novel design of local differential privacy mechanism for federated learning to address the abovementioned issues. It is capable of making the data more distinct from its original value and introducing lower variance. Moreover, the proposed mechanism bypasses the curse of dimensionality by splitting and shuffling model updates. A series of empirical evaluations on three commonly used datasets, MNIST, Fashion-MNIST and CIFAR-10, demonstrate that our solution can not only achieve superior deep learning performance but also provide a strong privacy guarantee at the same time.

研究动机与目标

• 在将深度学习部署在敏感数据上时唤起对隐私的关注。
• 提供一个适用于联邦学习的实用 LDP 机制。
• 在避免深度模型维度灾难的同时，降低信息暴露和方差。
• 在标准数据集（MNIST、Fashion-MNIST、CIFAR-10）上展示强隐私-效用权衡。

提出的方法

• 提出一种新的本地差分隐私机制，对每个权重在有界范围内进行扰动。
• 引入拆分与洗牌机制，以打破客户端更新之间的联系并降低隐私预算的增长。
• 通过逐层交换加密的最小-最大值来设置扰动范围，应用自适应范围设置。
• 对每个权重进行扰动，使用二点输出以保证 ε-LDP 并在均值中实现零偏差。
• 在云端聚合扰动、拆分和洗牌后的权重以更新全局模型。
• 在 MNIST、Fashion-MNIST 和 CIFAR-10 上评估不同 ε 和客户端数量下的隐私-效用权衡。

实验结果

研究问题

• RQ1 LDP-FL 在联邦学习中能否在不过度牺牲准确性的前提下提供有意义的隐私保障？
• RQ2 每个权重扰动如何影响聚合模型中的偏差和方差？
• RQ3 更新的拆分与洗牌是否缓解在 LDP 下深度学习中的高维度问题？
• RQ4 哪些实用的 ε 值能在标准基准上维持有竞争力的准确率？

主要发现

• LDP-FL 在 MNIST 上，ε = 1 时实现 0.97% 的准确率损失。
• 在 Fashion-MNIST，ε = 4 时实现 1.32% 的准确率损失。
• CIFAR-10，ε = 10 时实现 1.09% 的准确率损失。
• 与先前的 LDP 方法相比，该方法在使用更少的通信轮次（例如 MNIST 为 10）下仍具有具有竞争力的准确性。
• 理论结果包括在估计平均权重时的零偏差以及随客户端增多而改善的方差界限。