[论文解读] Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent

Rishav Chourasia, Jiayuan Ye+1 more|arXiv (Cornell University)|Feb 11, 2021

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文提出了一种关于噪声梯度下降与朗之万扩散中微分隐私动态的创新分析，通过连续时间随机过程建模隐私损失。在损失函数光滑且强凸的条件下，证明了Rényi微分隐私（RDP）损失随训练迭代次数呈指数级快速收敛——其界限显著优于组合定理——并实现了最优效用与梯度复杂度。

ABSTRACT

What is the information leakage of an iterative randomized learning algorithm about its training data, when the internal state of the algorithm is \\emph{private}? How much is the contribution of each specific training epoch to the information leakage through the released model? We study this problem for noisy gradient descent algorithms, and model the \\emph{dynamics} of R\\'enyi differential privacy loss throughout the training process. Our analysis traces a provably \\emph{tight} bound on the R\\'enyi divergence between the pair of probability distributions over parameters of models trained on neighboring datasets. We prove that the privacy loss converges exponentially fast, for smooth and strongly convex loss functions, which is a significant improvement over composition theorems (which over-estimate the privacy loss by upper-bounding its total value over all intermediate gradient computations). For Lipschitz, smooth, and strongly convex loss functions, we prove optimal utility with a small gradient complexity for noisy gradient descent algorithms.

研究动机与目标

• 弥合现有隐私分析在迭代随机学习算法中的空白，此类分析依赖组合定理导致泄露估计过高。
• 为多轮训练中的噪声梯度下降提供一个紧密、动态的隐私边界，同时考虑模型参数的收敛性。
• 分析不同微分隐私优化中隐私、效用与计算效率（梯度复杂度）之间的相互作用。
• 建立一个可证明紧致的Rényi微分隐私损失边界，准确捕捉训练过程中隐私放大真实动态。

提出的方法

• 将训练过程建模为一对对应于相邻数据集的连续时间朗之万扩散过程。
• 推导微分不等式，以界定在相邻数据集上训练的模型参数分布之间Rényi散度（隐私损失）的变化速率。
• 利用损失函数的强凸性与光滑性，证明隐私损失随时间呈指数收敛。
• 利用投影算子的压缩性质与集中不等式，控制模型参数相对于最优解的期望偏差。
• 应用Fokker-Planck方程与随机微积分，分析模型参数上概率密度的演化过程。
• 将离散的噪声梯度下降转化为连续扩散过程，从而利用RDP实现精确的微分隐私分析。

实验结果

研究问题

• RQ1 噪声梯度下降的隐私损失在多轮训练中如何演变？是否能比组合定理提供更紧致的边界？
• RQ2 算法动态（特别是收敛性与混合性）在实际训练数据信息泄露中起到何种作用？
• RQ3 能否推导出一个更紧致的RDP边界，以反映优化过程迭代性带来的真实隐私放大效应？
• RQ4 在微分隐私随机优化中，隐私、效用与梯度复杂度之间的最优权衡是什么？
• RQ5 所提出的隐私边界是否足够紧致？是否存在一种最坏情况场景，使得模型参数分布之间的散度可与该边界匹配？

主要发现

• 在1-强凸性与β-光滑性条件下，噪声梯度下降的Rényi微分隐私（RDP）损失随迭代次数K呈指数级快速收敛，达到ε = O(α/(σ²n²)(1−e^(-ηK/2)))。
• 所提出的边界可证明为紧致边界，因为存在损失函数与相邻数据集，使得模型参数分布之间的Rényi散度与推导出的边界完全匹配。
• 对于Lipschitz连续、光滑且强凸的损失函数，该算法实现最优效用，误差为O(d/(n²ε²))，梯度复杂度为O(n log n)，优于先前结果。
• 与先前的噪声SGD方法相比，梯度复杂度降低了n/log n倍，显著提升了计算效率。
• 隐私放大并非仅源于子采样或噪声注入，而是源于优化过程的内在动力学，特别是收敛至最小值的过程。
• 分析表明，中间梯度更新对隐私泄露的贡献低于组合定理所假设的水平，从而为更紧致的端到端隐私保证提供了依据。