[论文解读] Gradient Perturbation is Underrated for Differentially Private Convex Optimization

Dahua Yu, Huishuai Zhang+3 more|arXiv (Cornell University)|Nov 26, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用 7

一句话总结

本文通过引入一种期望曲率度量，重新评估了在差分隐私凸优化中的梯度扰动方法，该度量捕捉了噪声下平均优化行为，相较于先前方法显著提升了效用保证。作者在理论上和实证上证明，通过这种曲率感知分析，梯度扰动优于目标函数扰动和输出扰动，尤其是在结合高级组合技术时表现更优。

ABSTRACT

Gradient perturbation, widely used for differentially private optimization, injects noise at every iterative update to guarantee differential privacy. Previous work first determines the noise level that can satisfy the privacy requirement and then analyzes the utility of noisy gradient updates as in the non-private case. In contrast, we explore how privacy noise affects optimization property. We show that for differentially private convex optimization, the utility guarantee of differentially private (stochastic) gradient descent is determined by an \emph{expected curvature} rather than the minimum curvature. The \emph{expected curvature}, which represents the average curvature over the optimization path, is usually much larger than the minimum curvature. By using the \emph{expected curvature}, we show that gradient perturbation can achieve a significantly improved utility guarantee that can theoretically justify the advantage of gradient perturbation over other perturbation methods. Finally, our extensive experiments suggest that gradient perturbation with the advanced composition method indeed outperforms other perturbation approaches by a large margin, matching our theoretical findings.

研究动机与目标

• 为解决梯度扰动在实际中优于其他DP方法但未反映在现有效用保证中的理论缺口。
• 分析隐私噪声与优化动态之间的相互作用，而非将其视为单纯的加性扰动。
• 基于期望曲率构建新的理论框架，以更准确反映注入噪声后的真实优化路径。
• 通过实证验证，结合高级组合技术的梯度扰动在真实数据集上优于其他扰动方法。
• 证明期望曲率而非最小曲率，是决定差分隐私优化中效用的关键因素。

提出的方法

• 引入期望曲率的概念，定义为优化路径上Hessian范数的平均值，以表征梯度噪声下的优化行为。
• 在效用分析中，用期望曲率替代传统方法中对最小曲率的假设，后者通常显著偏小且不能准确反映实际优化进展。
• 推导出DP-GD与DP-SGD的新效用边界，其依赖于期望曲率，相较于基于最小曲率的先前工作有显著改进。
• 应用高级组合定理以精确估计隐私损失，并使用更小的噪声方差，从而在保持隐私的同时提升效用。
• 采用数值积分方法准确估计隐私损失，使噪声水平低于保守的上界近似值。
• 使用学习率衰减和梯度裁剪以稳定训练并改善DP-SGD的收敛性，符合私有深度学习的最佳实践。

实验结果

研究问题

• RQ1 为何梯度扰动在差分隐私优化中实证表现优于目标函数和输出扰动，尽管其理论保证更弱？
• RQ2 能否利用隐私噪声与优化动态之间的相互作用，推导出更紧致的效用边界？
• RQ3 最小曲率是否足以或准确地用于分析噪声梯度下降中的效用？
• RQ4 优化路径上的期望曲率能否作为效用的更好代理指标，优于最小曲率？
• RQ5 在DP-ERM中，结合曲率感知噪声调度的高级组合是否能提升实际性能？

主要发现

• 期望曲率（即优化路径上Hessian范数的平均值）显著大于最小曲率，因此是噪声下优化进展的更准确度量。
• 通过用期望曲率替代最小曲率，DP-GD与DP-SGD的理论效用边界得到改进，实现了更紧致且更现实的性能保证。
• 在四个真实世界数据集（Adult、MNIST、Real-sim、RCV1）上的实验表明，结合高级组合与曲率感知噪声的DP-SGD优于AMP与Output-SGD，在Real-sim上达到最高76.1%准确率，在RCV1上达到74.9%。
• DP-GD在Adult数据集上达到80.9%准确率，在MNIST上达到88.6%，优于AMP与Output-SGD，验证了梯度扰动的理论优势。
• DP-SGD与先前工作的性能差距主要源于更紧致的隐私会计机制和学习率衰减，而这些在早期实现中并未被采用。
• 这是首个摆脱对最小曲率依赖的DP-ERM效用保证，标志着对梯度扰动分析的理论进展。