[论文解读] Exploring Private Federated Learning with Laplacian Smoothing.

Zhicong Liang, Bao Wang+3 more|arXiv (Cornell University)|May 1, 2020

Privacy-Preserving Technologies in Data参考文献 35被引用 8

一句话总结

本文提出 DP-Fed-LS，一种新颖的差分隐私联邦学习方法，通过在噪声注入聚合过程中引入拉普拉斯平滑，提升模型效用。通过提高参数平均的统计精度，该方法在均匀采样和泊松采样下均实现了更紧致的隐私边界和更高的准确率，且在 MNIST、SVHN 和 Shakespeare 数据集上未牺牲差分隐私保证。

ABSTRACT

Federated learning aims to protect data privacy by collaboratively learning a model without sharing private data among users. However, an adversary may still be able to infer the private training data by attacking the released model. Differential privacy(DP) provides a statistical guarantee against such attacks, at a privacy of possibly degenerating the accuracy or utility of the trained models. In this paper, we apply a utility enhancement scheme based on Laplacian smoothing for differentially-private federated learning (DP-Fed-LS), where the parameter aggregation with injected Gaussian noise is improved in statistical precision. We provide tight closed-form privacy bounds for both uniform and Poisson subsampling and derive corresponding DP guarantees for differential private federated learning, with or without Laplacian smoothing. Experiments over MNIST, SVHN and Shakespeare datasets show that the proposed method can improve model accuracy with DP-guarantee under both subsampling mechanisms.

研究动机与目标

• 解决差分隐私下联邦学习中隐私与模型效用之间的权衡问题。
• 在注入高斯噪声以保证隐私的前提下，提升模型聚合的统计精度。
• 为均匀采样和泊松采样机制推导出紧致的、闭式表达的隐私边界。
• 评估拉普拉斯平滑对模型准确率的影响，同时保持差分隐私保证。
• 在包括 MNIST、SVHN 和 Shakespeare 在内的多样化基准数据集上，展示所提方法的有效性。

提出的方法

• 该方法在联邦学习的聚合阶段对模型参数应用拉普拉斯平滑，以提升统计精度。
• 将高斯噪声注入聚合过程以满足差分隐私要求，噪声水平基于敏感性分析进行校准。
• 利用先进的集中不等式，为均匀采样和泊松采样策略推导出闭式隐私边界。
• 在聚合前对模型更新应用拉普拉斯平滑，以降低方差并提高估计精度。
• 该方法支持均匀采样和泊松采样，实现联邦设置中灵活高效的客户端选择。
• 通过先进的差分隐私分析形式化推导隐私保证，确保在两种采样机制下均具有严格的理论边界。

实验结果

研究问题

• RQ1 拉普拉斯平滑在高斯噪声注入下如何提升差分隐私联邦学习的统计精度？
• RQ2 在均匀采样和泊松采样下，DP-Fed-LS 的最紧致闭式隐私边界是什么？
• RQ3 拉普拉斯平滑在不损害差分隐私的前提下，能在多大程度上提升模型准确率？
• RQ4 在隐私约束下，该方法在 MNIST、SVHN 和 Shakespeare 等多样化数据集上的表现如何？
• RQ5 拉普拉斯平滑的集成是否能相比标准 DP-Fed 方法实现更优的效用-隐私权衡？

主要发现

• 在相同隐私预算下，所提 DP-Fed-LS 方法在 MNIST、SVHN 和 Shakespeare 数据集上的模型准确率高于基线 DP-Fed 方法。
• 为均匀采样和泊松采样均推导出更紧致的闭式隐私边界，增强了方法的理论严谨性。
• 拉普拉斯平滑显著提升了噪声注入模型聚合的统计精度，降低了参数更新的方差。
• 该方法在保持强大差分隐私保证的同时提升了效用，展现出有利的隐私-准确率权衡。
• 实验结果证实，拉普拉斯平滑带来的效用增益在多样化数据分布和模型架构下保持一致。
• 结果表明，拉普拉斯平滑与差分隐私的结合使隐私敏感环境下的联邦学习更加高效。