[论文解读] Differentially Private Federated Learning with Laplacian Smoothing

Zhicong Liang, Wang Bao+3 more|arXiv (Cornell University)|May 1, 2020

Privacy-Preserving Technologies in Data参考文献 68被引用 9

一句话总结

本文提出 DP-Fed-LS，一种差分隐私联邦学习框架，通过应用拉普拉斯平滑在不增加隐私预算的前提下提升模型效用。通过利用图傅里叶域中聚合梯度的平滑性，该方法在严格差分隐私下降低方差并提升收敛速度，在 MNIST、SVHN 和 Shakespeare 数据集上，无论采用均匀采样还是泊松采样，均表现出更高的准确率。

ABSTRACT

Federated learning aims to protect data privacy by collaboratively learning a model without sharing private data among users. However, an adversary may still be able to infer the private training data by attacking the released model. Differential privacy provides a statistical protection against such attacks at the price of significantly degrading the accuracy or utility of the trained models. In this paper, we investigate a utility enhancement scheme based on Laplacian smoothing for differentially private federated learning (DP-Fed-LS), where the parameter aggregation with injected Gaussian noise is improved in statistical precision without losing privacy budget. Our key observation is that the aggregated gradients in federated learning often enjoy a type of smoothness, i.e. sparsity in the graph Fourier basis with polynomial decays of Fourier coefficients as frequency grows, which can be exploited by the Laplacian smoothing efficiently. Under a prescribed differential privacy budget, convergence error bounds with tight rates are provided for DP-Fed-LS with uniform subsampling of heterogeneous Non-IID data, revealing possible utility improvement of Laplacian smoothing in effective dimensionality and variance reduction, among others. Experiments over MNIST, SVHN, and Shakespeare datasets show that the proposed method can improve model accuracy with DP-guarantee and membership privacy under both uniform and Poisson subsampling mechanisms.

研究动机与目标

• 解决因注入噪声以保护隐私而导致的差分隐私联邦学习中效用下降的问题。
• 通过利用聚合梯度中的结构平滑性，在相同差分隐私预算下提升模型准确率。
• 为 DP-Fed-LS 在均匀采样和泊松采样机制下建立更紧致的隐私与收敛界。
• 证明拉普拉斯平滑在独立同分布（IID）和非独立同分布（Non-IID）数据设置下，能有效降低方差并提升泛化能力。
• 建立与非私有联邦学习和集中式 DP-ERM 相匹配的理论收敛速率。

提出的方法

• 将拉普拉斯平滑引入联邦平均过程，在差分隐私噪声注入后对跨客户端聚合的梯度应用该方法。
• 利用观察到的聚合梯度平滑性——在图傅里叶基下稀疏且系数呈多项式衰减——作为结构先验，以降低估计方差。
• 推导出均匀采样和泊松采样下新的闭式隐私界，其紧致程度优于先前结果，并放宽了先前假设。
• 在强凸、一般凸和非凸设置下建立收敛误差界，其收敛速率与非私有联邦学习和集中式 DP-ERM 基线一致。
• 使用有效维度 $ d_{\rho} = \sum_{i=1}^{d} \Lambda_i $ 和 $ \tilde{d}_{\rho} = \sum_{i=1}^{d} \Lambda_i^2 $ 来量化傅里叶域中的平滑性和方差降低。
• 采用带有自适应学习率和采样的改进随机梯度下降，以平衡隐私、收敛性和效用。

实验结果

研究问题

• RQ1 拉普拉斯平滑是否能在不损害隐私的前提下降低差分隐私联邦学习中的方差？
• RQ2 图傅里叶域中聚合梯度的平滑性是否能有效降低方差并提升效用？
• RQ3 能否为子采样 DP-Fed 推导出更紧致的隐私界，放宽先前假设并提升效用？
• RQ4 DP-Fed-LS 的收敛速率是否与非私有联邦学习和集中式 DP-ERM 在相同隐私预算下保持一致？
• RQ5 所提方法是否在保持成员隐私的前提下，同时提升 IID 和 Non-IID 数据分布下的模型准确率？

主要发现

• 所提出的 DP-Fed-LS 方法在 MNIST、SVHN 和 Shakespeare 数据集上，无论采用均匀采样还是泊松采样，均在保持相同 $(\varepsilon, \delta)$-DP 保证的前提下提升了模型准确率。
• 对于强凸问题，期望优化误差被限制在 $ \tilde{\mathcal{O}}\left(\frac{(\varsigma^{2}(\sigma)/K + (1-\tau)G^{2} + d_{\sigma})L^{2}\log(1/\delta)}{\mu_{\sigma}\varepsilon^{2}N^{2}}\right) $ 之内，显示出对隐私参数更优的依赖关系。
• 在一般凸设置下，误差界按 $ \frac{\sqrt{(\varsigma^{2}(\sigma)/K + 4(1-\tau)G^{2} + d_{\sigma})D_{\sigma}L^{2}\log(1/\delta)}}{\varepsilon N} $ 缩放，其中有效维度 $ d_{\sigma} $ 捕获了平滑性带来的优势。
• 对于非凸问题，期望梯度范数被限制在 $ \frac{\sqrt{(\varsigma^{2}(\sigma)/K + 4(1-\tau)G^{2} + \tilde{d}_{\sigma})F_{0}\beta L^{2}\log(1/\delta)}}{\varepsilon N} $ 之内，表明通过平滑性实现了效用提升。
• 该方法实现了与非私有联邦学习和集中式 DP-ERM 相匹配的收敛速率，表明在渐近效率上无损失。
• 实验结果证实，拉普拉斯平滑降低了噪声的影响并提升了泛化能力，尤其在 Shakespeare 数据集等 Non-IID 设置下表现显著，且未增加隐私预算。