[论文解读] Differentially Private SGD with Non-Smooth Losses

Puyu Wang, Yunwen Lei+2 more|arXiv (Cornell University)|Jan 22, 2021

Privacy-Preserving Technologies in Data参考文献 33被引用 5

一句话总结

本文提出了一种用于非光滑凸损失的差分隐私随机梯度下降（DP-SGD），采用 $\alpha$-Hölder 光滑梯度，放宽了先前对利普希茨连续性和强光滑损失的假设。该方法建立了 $(\epsilon,\delta)$-差分隐私，实现了最优的过剩风险 $\mathcal{O}\left(\frac{\sqrt{d\log(1/\delta)}}{n\epsilon} + \frac{1}{\sqrt{n}}\right)$ 和梯度复杂度 $\mathcal{O}(n^{2-\alpha\over 1+\alpha} + n)$，表明当 $\alpha \geq 1/2$ 时即可实现线性复杂度和最优效用。

ABSTRACT

In this paper, we are concerned with differentially private {stochastic gradient descent (SGD)} algorithms in the setting of stochastic convex optimization (SCO). Most of the existing work requires the loss to be Lipschitz continuous and strongly smooth, and the model parameter to be uniformly bounded. However, these assumptions are restrictive as many popular losses violate these conditions including the hinge loss for SVM, the absolute loss in robust regression, and even the least square loss in an unbounded domain. We significantly relax these restrictive assumptions and establish privacy and generalization (utility) guarantees for private SGD algorithms using output and gradient perturbations associated with non-smooth convex losses. Specifically, the loss function is relaxed to have an $α$-Hölder continuous gradient (referred to as $α$-Hölder smoothness) which instantiates the Lipschitz continuity ($α=0$) and the strong smoothness ($α=1$). We prove that noisy SGD with $α$-Hölder smooth losses using gradient perturbation can guarantee $(ε,δ)$-differential privacy (DP) and attain optimal excess population risk $\mathcal{O}\Big(\frac{\sqrt{d\log(1/δ)}}{nε}+\frac{1}{\sqrt{n}}\Big)$, up to logarithmic terms, with the gradient complexity $ \mathcal{O}( n^{2-α\over 1+α}+ n).$ This shows an important trade-off between $α$-Hölder smoothness of the loss and the computational complexity for private SGD with statistically optimal performance. In particular, our results indicate that $α$-Hölder smoothness with $α\ge {1/2}$ is sufficient to guarantee $(ε,δ)$-DP of noisy SGD algorithms while achieving optimal excess risk with the linear gradient complexity $\mathcal{O}(n).$

研究动机与目标

• 放松现有 DP-SGD 方法中对损失函数的严格假设，如利普希茨连续性和强光滑性。
• 在更一般的 $\alpha$-Hölder 光滑性条件下，建立 DP-SGD 的隐私性和泛化性保证。
• 分析有界和无界参数域中输出扰动与梯度扰动机制的适用性。
• 在 $\alpha$-Hölder 光滑性下，推导最优的过剩风险与梯度复杂度权衡。
• 解决无界域中梯度扰动的开放问题，特别是针对非光滑损失的情形。

提出的方法

• 将 $\alpha$-Hölder 光滑性引入作为利普希茨连续性和强光滑损失的推广，其中梯度满足 $\alpha$-Hölder 连续性。
• 通过向最终模型参数添加噪声，应用输出扰动以实现 $(\epsilon,\delta)$-差分隐私。
• 通过在优化过程中向梯度添加噪声，应用梯度扰动，并利用隐私放大效应确保隐私性。
• 采用 RDP（Rényi 差分隐私）分析推导更紧致的隐私界，尤其适用于梯度扰动场景。
• 通过算法稳定性与泛化理论推导过剩风险界，建立隐私与泛化性能之间的联系。
• 分析有界与无界参数域 $\mathcal{W}$，并针对每种情形分别得出不同的风险与复杂度结果。

Figure 1 : The sufficient condition for the existence of $\beta$ in Lemma 13. The shaded area is the area where the sufficient condition in Lemma 13 holds true, i.e., $\epsilon\geq\big{(}7(n^{\frac{1}{3}}-1)+4\log(n)n+7\big{)}/\big{(}2n(n^{\frac{1}{3}}-1)\big{)}$ .

实验结果

研究问题

• RQ1 DP-SGD 是否能在违反标准利普希茨连续性和强光滑性假设的非光滑损失下实现最优效用？
• RQ2 $\alpha$-Hölder 光滑性与计算复杂度之间的权衡如何？
• RQ3 当 $\alpha \geq 1/2$ 时，梯度扰动能否在 $\mathcal{O}(n)$ 梯度复杂度下实现最优过剩风险？
• RQ4 在 $\alpha$-Hölder 光滑性下，DP-SGD 在无界参数域中的隐私与泛化保证是什么？
• RQ5 是否可能在无界域中通过梯度扰动实现最优过剩风险？若不能，原因是什么？

主要发现

• 对于 $\alpha$-Hölder 光滑损失，采用梯度扰动的 DP-SGD 在有界域中实现了最优过剩风险 $\mathcal{O}\left(\frac{\sqrt{d\log(1/\delta)}}{n\epsilon} + \frac{1}{\sqrt{n}}\right)$。
• 梯度复杂度为 $\mathcal{O}(n^{2-\alpha\over 1+\alpha} + n)$，当 $\alpha \geq 1/2$ 时退化为 $\mathcal{O}(n)$，表明计算效率显著提升。
• 当 $\alpha \geq 1/2$ 时，该算法在实现 $(\epsilon,\delta)$-DP 的同时，达到最优过剩风险与线性梯度复杂度。
• 在无界域中，输出扰动的过剩风险为 $\mathcal{O}\left(\frac{\sqrt{d\log(1/\delta)}\log(n/\delta)}{n^{\frac{2}{3+\alpha}}\epsilon} + \frac{\log(n/\delta)}{n^{\frac{1}{3+\alpha}}}\right)$，这是无界设置下的首个此类结果。
• 本文表明，当 $\alpha \geq 1/2$ 时，$\alpha$-Hölder 光滑性足以保证隐私性与最优效用的线性复杂度。
• 无界域中梯度扰动的开放问题仍未解决，凸显了未来研究的关键方向。