[论文解读] Deep Learning with Gaussian Differential Privacy

Zhiqi Bu, Jinshuo Dong+2 more|arXiv (Cornell University)|Nov 26, 2019

Privacy-Preserving Technologies in Data参考文献 30被引用 22

一句话总结

本文提出使用 f-差分隐私，特别是高斯差分隐私（GDP），以推导出在随机梯度下降（SGD）和 Adam 优化中训练深度神经网络时更紧致且可解析计算的隐私边界。结果表明，f-DP 框架能够实现闭式隐私会计，相比 (ε,δ)-DP 中的矩量会计方法，在保持相同隐私保证的前提下，可减少噪声，从而提升模型效用。

ABSTRACT

Deep learning models are often trained on datasets that contain sensitive information such as individuals' shopping transactions, personal contacts, and medical records. An increasingly important line of work therefore has sought to train neural networks subject to privacy constraints that are specified by differential privacy or its divergence-based relaxations. These privacy definitions, however, have weaknesses in handling certain important primitives (composition and subsampling), thereby giving loose or complicated privacy analyses of training neural networks. In this paper, we consider a recently proposed privacy definition termed extit{$f$-differential privacy} [18] for a refined privacy analysis of training neural networks. Leveraging the appealing properties of $f$-differential privacy in handling composition and subsampling, this paper derives analytically tractable expressions for the privacy guarantees of both stochastic gradient descent and Adam used in training deep neural networks, without the need of developing sophisticated techniques as [3] did. Our results demonstrate that the $f$-differential privacy framework allows for a new privacy analysis that improves on the prior analysis~[3], which in turn suggests tuning certain parameters of neural networks for a better prediction accuracy without violating the privacy budget. These theoretically derived improvements are confirmed by our experiments in a range of tasks in image classification, text classification, and recommender systems. Python code to calculate the privacy cost for these experiments is publicly available in the exttt{TensorFlow Privacy} library.

研究动机与目标

• 为解决 (ε,δ)-差分隐私在处理组合与子采样时的局限性。
• 开发一种更具可解释性且可解析计算的隐私框架，以改进矩量会计技术。
• 通过为噪声优化算法推导更精确的隐私边界，实现更好的隐私-效用权衡。
• 通过在图像分类、文本分类和推荐系统上的实证实验，验证理论改进的有效性。
• 通过 TensorFlow Privacy 库提供实际实现，以计算 f-DP 框架下的隐私成本。

提出的方法

• 利用 f-差分隐私（f-DP），这是 (ε,δ)-DP 的一种松弛形式，保留了假设检验的解释，并能精确处理组合与子采样。
• 应用隐私的中心极限定理（CLT），将组合噪声梯度更新的隐私损失近似为偏移正态分布。
• 在 f-DP 框架下，为 NoisySGD 和 NoisyAdam 推导出隐私损失的闭式表达式，避免了矩量会计方法所需的数值计算。
• 采用 f-DP 的标准单参数族——高斯差分隐私（GDP），以单个参数 μ 表达隐私保证。
• 利用隐私损失随机变量（PLRV）及其矩生成函数，实现隐私边界的解析计算。
• 通过在 MNIST、文本分类和推荐系统上的实验验证该方法，比较在相同 (ε,δ)-DP 保证下的测试准确率与隐私消耗。

实验结果

研究问题

• RQ1 与 (ε,δ)-DP 中的矩量会计相比，f-差分隐私能否为深度学习提供更紧致且可解析计算的隐私边界？
• RQ2 f-DP 框架是否通过允许更少的噪声，同时保持相同的隐私保证，从而实现更高的模型效用？
• RQ3 在隐私会计的准确性与收敛速度方面，f-DP 中基于 CLT 的近似方法与矩量会计相比如何？
• RQ4 f-DP 框架在 SGD 和 Adam 优化中，对隐私-效用权衡的改善程度如何？
• RQ5 f-DP 中的闭式隐私边界是否可在多样化的机器学习任务中实现实际应用并得到验证？

主要发现

• f-差分隐私框架为 NoisySGD 和 NoisyAdam 提供了闭式隐私边界，消除了矩量会计方法所需的数值计算。
• 在相同的 (ε,δ)-DP 预算下，f-DP 中的 CLT 方法实现的测试准确率高于矩量会计方法，例如在 ε=4 时达到 96% 准确率，而矩量会计方法仅为 92%。
• 在 18、26 和 45 个周期内，CLT 方法分别达到 95%、96% 和 97% 的测试准确率，而矩量会计方法分别需要 23、33 和 64 个周期，表明收敛速度更快。
• 在相同的 (ε,δ)-DP 保证下，f-DP 框架提供了更强的隐私保护——例如，1.13-GDP 对比 (7.10,10−5)-DP，表明隐私-效用权衡更优。
• 通过 f-DP 计算的隐私成本更具可解释性且更不保守，可在不违反隐私预算的前提下提升模型效用。
• 所提出的方法已集成至 TensorFlow Privacy 库中，支持公开复现与 f-DP 驱动的私有深度学习的实际部署。