[论文解读] DP-LSSGD: A Stochastic Optimization Method to Lift the Utility in Privacy-Preserving ERM

Bao Wang, Quanquan Gu+3 more|arXiv (Cornell University)|Jun 28, 2019

Privacy-Preserving Technologies in Data被引用 3

一句话总结

本文提出DP-LSSGD，一种新颖的随机优化方法，通过用拉普拉斯平滑替换高斯噪声，提升差分隐私经验风险最小化中的模型效用。通过在保持相同隐私保证的前提下平滑高斯机制中的噪声，DP-LSSGD在凸与非凸模型（包括深度神经网络）中均提升了训练稳定性和泛化能力，且计算开销可忽略不计。

ABSTRACT

Machine learning (ML) models trained by differentially private stochastic gradient descent (DP-SGD) have much lower utility than the non-private ones. To mitigate this degradation, we propose a DP Laplacian smoothing SGD (DP-LSSGD) to train ML models with differential privacy (DP) guarantees. At the core of DP-LSSGD is the Laplacian smoothing, which smooths out the Gaussian noise used in the Gaussian mechanism. Under the same amount of noise used in the Gaussian mechanism, DP-LSSGD attains the same DP guarantee, but in practice, DP-LSSGD makes training both convex and nonconvex ML models more stable and enables the trained models to generalize better. The proposed algorithm is simple to implement and the extra computational complexity and memory overhead compared with DP-SGD are negligible. DP-LSSGD is applicable to train a large variety of ML models, including DNNs. The code is available at \url{this https URL}.

研究动机与目标

• 解决差分隐私随机梯度下降（DP-SGD）中显著的效用下降问题，该问题限制了隐私机器学习模型的实际部署。
• 在不增加隐私预算或计算成本的前提下，提升差分隐私下的模型泛化能力和训练稳定性。
• 开发一种实现简单且广泛适用于各类机器学习模型（包括深度神经网络）的方法。
• 在保持与DP-SGD相同差分隐私保证（ε）的同时，通过噪声平滑提升模型性能。

提出的方法

• 将拉普拉斯平滑作为DP-SGD中高斯机制所用标准高斯噪声的替代方案。
• 对梯度更新应用平滑处理，以降低DP-SGD中由高噪声梯度引发的方差与不稳定性。
• 通过确保噪声分布维持等价的隐私保证，保持与DP-SGD相同的隐私预算（ε）。
• 使用能降低极端噪声值影响的平滑核，同时保持差分隐私所需的统计特性。
• 将平滑步骤直接集成到随机优化循环中，实现仅需极少代码修改的无缝部署。
• 确保与标准DP-SGD相比，该方法引入的计算与内存开销可忽略不计。

实验结果

研究问题

• RQ1 与标准DP-SGD相比，拉普拉斯平滑是否能提升差分隐私模型的泛化性能？
• RQ2 所提出的方法在降低训练过程中噪声引起的不稳定性的同时，是否仍保持相同的隐私保证（ε）？
• RQ3 DP-LSSGD在凸与非凸机器学习模型（包括深度神经网络）中的表现如何？
• RQ4 将拉普拉斯平滑集成到训练流水线中带来的计算与内存开销是多少？
• RQ5 该方法是否能在不损害隐私或不改变隐私预算的前提下提升训练稳定性？

主要发现

• 在相同隐私预算下，DP-LSSGD在非凸模型中表现出优于DP-SGD的泛化能力和训练稳定性。
• 该方法在保持与DP-SGD相同的差分隐私保证（ε）的同时，降低了噪声对模型收敛的负面影响。
• 模型效用的提升在凸与非凸机器学习模型中均有体现，包括深度神经网络。
• 与标准DP-SGD相比，拉普拉斯平滑引入的计算与内存开销可忽略不计。
• 所提出方法实现简单，且与多种机器学习框架和模型架构兼容。
• 实证结果表明，在相同隐私约束下，DP-LSSGD使模型达到的测试准确率高于DP-SGD。