[论文解读] Concentrated Differentially Private Gradient Descent with Adaptive per-Iteration Privacy Budget

Jae Wook Lee, Daniel Kifer|arXiv (Cornell University)|Aug 28, 2018

Privacy-Preserving Technologies in Data参考文献 20被引用 9

一句话总结

该论文提出了一种在零集中差分隐私（zCDP）下的自适应隐私预算分配策略，用于差分隐私梯度下降，通过根据梯度大小动态调整噪声，以提高优化精度。该方法利用线搜索机制评估梯度效用，在梯度变小时的后期迭代中减少噪声，优于固定预算方法，并在逻辑回归和SVM任务上达到最先进性能。

ABSTRACT

Iterative algorithms, like gradient descent, are common tools for solving a variety of problems, such as model fitting. For this reason, there is interest in creating differentially private versions of them. However, their conversion to differentially private algorithms is often naive. For instance, a fixed number of iterations are chosen, the privacy budget is split evenly among them, and at each iteration, parameters are updated with a noisy gradient. In this paper, we show that gradient-based algorithms can be improved by a more careful allocation of privacy budget per iteration. Intuitively, at the beginning of the optimization, gradients are expected to be large, so that they do not need to be measured as accurately. However, as the parameters approach their optimal values, the gradients decrease and hence need to be measured more accurately. We add a basic line-search capability that helps the algorithm decide when more accurate gradient measurements are necessary. Our gradient descent algorithm works with the recently introduced zCDP version of differential privacy. It outperforms prior algorithms for model fitting and is competitive with the state-of-the-art for $(ε,δ)$-differential privacy, a strictly weaker definition than zCDP.

研究动机与目标

• 解决迭代式差分隐私优化中固定隐私预算分配的低效问题。
• 通过基于梯度效用按迭代自适应调整噪声水平，提高差分隐私经验风险最小化中的模型精度。
• 消除预设迭代次数的需要，因为这通常会导致次优性能。
• 开发一种智能方法，判断何时添加噪声的梯度对下降有帮助，避免类似随机游走的行为。
• 证明在zCDP下自适应预算分配可达到或超越最先进$(\epsilon,\delta)$-DP方法的性能。

提出的方法

• 采用零集中差分隐私（zCDP）作为隐私框架，相比传统$(\epsilon,\delta)$-DP，能实现更紧致的隐私会计计算。
• 提出一种自适应隐私预算分配机制，当$\|\nabla f(\mathbf{w}_t)\|$较小时，$\epsilon_t$更大，从而在后期迭代中减少噪声。
• 采用线搜索机制评估噪声梯度更新是否可能降低目标函数。
• 根据真实梯度的范数动态调整每轮的噪声方差，梯度大时增加噪声，梯度小时减少噪声。
• 应用矩会计技术追踪zCDP下各轮次的隐私损失，相比先前方法提供更紧致的边界。
• 基于梯度范数和噪声更新的效用设定停止准则，避免在无用梯度下进行不必要的迭代。

实验结果

研究问题

• RQ1 能否通过按迭代自适应分配隐私预算来提升差分隐私梯度下降的效用？
• RQ2 在梯度变小的后期迭代中减少噪声，是否能带来更好的模型收敛性和精度？
• RQ3 线搜索机制能否有效判断噪声梯度是否对下降有帮助，从而避免随机游走行为？
• RQ4 在模型精度和目标函数值方面，zCDP下的自适应预算分配与固定预算方法及最先进$(\epsilon,\delta)$-DP算法相比如何？
• RQ5 所提方法能否消除在私有优化中预设迭代次数的需求？

主要发现

• 所提出的DP-AGD算法在所有测试场景下均持续优于固定预算方法（如DP-SGD和SGD-MA），尤其在低隐私预算（$\epsilon \leq 0.1$）下表现更优。
• 在UCI Adult和KDDCup99数据集上，当$\epsilon = 0.05$时，DP-AGD的分类准确率高于其他方法，归因于更智能的噪声分配策略。
• 在SVM任务中，DP-AGD随$\epsilon$增加在目标函数值上表现出稳定提升，尽管在BANK数据集上高$\epsilon$下准确率略有下降，可能与数据特性有关。
• 通过检查梯度效用，该算法避免了不必要的更新，降低了噪声主导更新导致性能下降的风险。
• 尽管在更强的zCDP定义下运行，DP-AGD在性能上仍与最先进$(\epsilon,\delta)$-DP方法保持竞争力。
• zCDP下的矩会计提供了更紧致的隐私边界，但在极低$\epsilon$下变得不切实际（单轮成本约0.5756），凸显出自适应预算分配的优势。