[论文解读] Dynamic Differential-Privacy Preserving SGD

Jian Du, Song Li+3 more|arXiv (Cornell University)|Oct 30, 2021

Privacy-Preserving Technologies in Data参考文献 21被引用 7

一句话总结

本文提出动态DP-SGD，一种新颖的差分隐私优化方法，通过在训练过程中自适应调整梯度裁剪阈值和噪声水平，以在严格隐私预算下提升模型准确率。该方法利用扩展的高斯差分隐私中心极限定理，实现更紧密的隐私会计计算，显著减少性能损失——在ε=1.2时，MNIST上的准确率差距仅为2.49%；在联邦学习中ε=1时，准确率差距为1.72%，优于基线DP-SGD。

ABSTRACT

The vanilla Differentially-Private Stochastic Gradient Descent (DP-SGD), including DP-Adam and other variants, ensures the privacy of training data by uniformly distributing privacy costs across training steps. The equivalent privacy costs controlled by maintaining the same gradient clipping thresholds and noise powers in each step result in unstable updates and a lower model accuracy when compared to the non-DP counterpart. In this paper, we propose the dynamic DP-SGD (along with dynamic DP-Adam, and others) to reduce the performance loss gap while maintaining privacy by dynamically adjusting clipping thresholds and noise powers while adhering to a total privacy budget constraint. Extensive experiments on a variety of deep learning tasks, including image classification, natural language processing, and federated learning, demonstrate that the proposed dynamic DP-SGD algorithm stabilizes updates and, as a result, significantly improves model accuracy in the strong privacy protection region when compared to the vanilla DP-SGD. We also conduct theoretical analysis to better understand the privacy-utility trade-off with dynamic DP-SGD, as well as to learn why Dynamic DP-SGD can outperform vanilla DP-SGD.

研究动机与目标

• 为解决基线DP-SGD因固定且次优的裁剪与噪声设置导致的性能下降问题，这些设置会破坏训练稳定性。
• 通过在训练步骤间动态分配隐私成本，减少深度学习中的隐私-效用差距。
• 开发一种理论基础坚实的自适应机制，用于噪声与裁剪调整，同时保持预设的总隐私预算。
• 在强隐私约束（如ε ≤ 1.2）下，提升图像分类、自然语言处理和联邦学习中的模型准确率。
• 为非均匀隐私成本分配对模型效用与收敛稳定性的影响提供理论洞见。

提出的方法

• 将高斯差分隐私中心极限定理扩展，以实现对训练步骤间非均匀隐私成本的解析组合。
• 提出两种动态校准策略：敏感度衰减与μt增长，用于指导自适应裁剪与噪声缩放。
• 基于依赖于局部梯度敏感度与曲率（Qt）的理论边界，推导最优噪声方差σt与裁剪阈值Ct。
• 通过根据实时梯度统计信息在每轮迭代中调整σt与Ct，实现动态DP-SGD与动态DP-Adam。
• 利用扩展的中心极限定理实现紧密的隐私会计，确保总隐私预算不被超出，同时支持每步自适应。
• 采用δ(ε;μ)的闭式表达式，实现在训练过程中高效且精确的隐私成本追踪。

实验结果

研究问题

• RQ1 在不违反隐私预算的前提下，动态调整裁剪阈值与噪声水平是否能提升差分隐私深度学习中的模型准确率？
• RQ2 在训练步骤间非均匀分配隐私成本，如何影响DP-SGD中的效用-隐私权衡？
• RQ3 在保持隐私保证的前提下，实现最优噪声与裁剪自适应的理论条件是什么？
• RQ4 动态DP-SGD是否能稳定训练更新，消除基线DP-SGD中常见的启动不稳定现象？
• RQ5 与AdaClip或自适应噪声等现有自适应方法相比，动态DP-SGD在准确率与隐私效率方面表现如何？

主要发现

• 在ε=1.2时，动态DP-SGD在MNIST上的准确率差距仅为2.49%，显著优于基线DP-SGD。
• 在联邦学习中，ε=1时性能损失降低至1.72%，表明在高隐私约束下仍具有强大效用。
• 该方法稳定了梯度更新，消除了基线DP-SGD中观察到的启动阶段，如测试损失与梯度范数轨迹所示。
• 理论分析证实，动态噪声与裁剪通过最小化偏差与方差项，降低了效用损失的上界。
• 扩展的中心极限定理实现了紧密的隐私会计，使动态调整在不超出总隐私预算的前提下成为可能。
• 实证结果表明，该方法在图像分类、自然语言处理与联邦学习中均表现出一致的性能提升，验证了其泛化能力。