[论文解读] Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication

Muah Kim, Onur Günlü+1 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 19被引用 4

一句话总结

该论文提出了一种结合局部微差隐私（LDP）与高斯噪声的联邦学习框架，以在隐私、效用和通信效率之间取得平衡。通过采用改进的矩会计（moments accountant）实现更紧密的隐私会计，并将查询敏感度建模为可变参数，该方法在强隐私约束条件下相比以往方法显著提升了效用并降低了传输速率。

ABSTRACT

Federated learning (FL) allows to train a massive amount of data privately due to its decentralized structure. Stochastic gradient descent (SGD) is commonly used for FL due to its good empirical performance, but sensitive user information can still be inferred from weight updates shared during FL iterations. We consider Gaussian mechanisms to preserve local differential privacy (LDP) of user data in the FL model with SGD. The trade-offs between user privacy, global utility, and transmission rate are proved by defining appropriate metrics for FL with LDP. Compared to existing results, the query sensitivity used in LDP is defined as a variable and a tighter privacy accounting method is applied. The proposed utility bound allows heterogeneous parameters over all users. Our bounds characterize how much utility decreases and transmission rate increases if a stronger privacy regime is targeted. Furthermore, given a target privacy level, our results guarantee a significantly larger utility and a smaller transmission rate as compared to existing privacy accounting methods.

研究动机与目标

• 解决在局部微差隐私（LDP）下联邦学习中隐私、效用与通信成本之间的权衡问题。
• 通过利用改进的从Rényi-DP到DP的转换方式，提升矩会计在联邦学习中随机梯度下降（SGD）的隐私会计精度。
• 提出一种通用的效用度量指标，以考虑用户间异构的参数，如数据集大小、采样概率及个体隐私目标。
• 通过建模在无损通信下的噪声梯度微分熵，最小化传输速率。
• 证明所提方法在等效隐私预算下，相比现有LDP-FL方法，在效用与通信效率方面均表现更优。

提出的方法

• 对本地梯度应用高斯随机化，以在联邦SGD中确保局部微差隐私（LDP）。
• 采用增强型矩会计（MA），结合最优Rényi-DP到DP的转换，实现更紧密的隐私会计，减少对隐私损失的过度估计。
• 将查询敏感度定义为用户间的可变参数，实现对数据采样与隐私需求的异构建模。
• 推导出一个考虑用户特定数据集大小、采样概率与隐私水平的效用下界。
• 将传输速率建模为噪声梯度的微分熵，利用协方差矩阵行列式与高斯微分熵的性质进行有界处理。
• 采用Hadamard不等式与AM-GM不等式，对梯度协方差矩阵的行列式进行上界估计，从而实现可处理的熵分析。

实验结果

研究问题

• RQ1 用户间可变的查询敏感度如何影响LDP-FL中的效用-隐私-通信权衡？
• RQ2 通过增强型矩会计实现更紧密的隐私会计，是否能提升LDP-FL的效用并降低通信成本？
• RQ3 当用户具有异构的数据集大小、采样概率与隐私目标时，模型效用的理论下界是什么？
• RQ4 在LDP-FL中，噪声梯度的微分熵如何随噪声方差与模型维度变化？
• RQ5 与现有LDP-FL基线相比，所提方法在降低所需噪声功率与传输速率方面有多大程度的改善？

主要发现

• 所提方法在强隐私环境下相比现有隐私会计方法，显著提升了效用下界。
• 由于对协方差矩阵与噪声熵建模的改进，噪声梯度微分熵的紧致边界使得传输速率得以降低。
• 该方法保证了收敛速率的下界，其量级为$ \mathcal{O}(1/t) $，常数因子依赖于$ \max\{2, 1 + d\sigma^2\} $，优于先前的界。
• 对于异构用户，效用下界显式整合了不同的数据集大小、采样概率与隐私水平，支持更真实的系统建模。
• 采用最优转换的增强型矩会计减少了对隐私损失的过度估计，使得在相同隐私预算下可实现更高的效用。
• 数值比较显示，所提方法在所需噪声功率、效用与传输速率方面均优于基于SC、AC1与AC2的方法，展现出显著优势。