[论文解读] Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization

Xiaodong Yang, Huishuai Zhang+2 more|arXiv (Cornell University)|Jun 27, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文提出并分析了DP-NSGD，一种差分隐私优化算法，该算法对每个样本的梯度进行归一化而非裁剪，从而在非凸设置下改善了收敛性。在温和的光滑性和有界方差假设下，其梯度范数收敛速率为 $\mathcal{O}\left(\sqrt[4]{\frac{d\log(1/\delta)}{N^{2}\epsilon^{2}}}\right)$，相比先前工作具有更弱的假设和更好的超参数稳定性。

ABSTRACT

By ensuring differential privacy in the learning algorithms, one can rigorously mitigate the risk of large models memorizing sensitive training data. In this paper, we study two algorithms for this purpose, i.e., DP-SGD and DP-NSGD, which first clip or normalize extit{per-sample} gradients to bound the sensitivity and then add noise to obfuscate the exact information. We analyze the convergence behavior of these two algorithms in the non-convex optimization setting with two common assumptions and achieve a rate $\mathcal{O}\left(\sqrt[4]{\frac{d\log(1/δ)}{N^2ε^2}} ight)$ of the gradient norm for a $d$-dimensional model, $N$ samples and $(ε,δ)$-DP, which improves over previous bounds under much weaker assumptions. Specifically, we introduce a regularizing factor in DP-NSGD and show that it is crucial in the convergence proof and subtly controls the bias and noise trade-off. Our proof deliberately handles the per-sample gradient clipping and normalization that are specified for the private setting. Empirically, we demonstrate that these two algorithms achieve similar best accuracy while DP-NSGD is comparatively easier to tune than DP-SGD and hence may help further save the privacy budget when accounting the tuning effort.

研究动机与目标

• 为解决DP-SGD中因梯度裁剪导致的差分隐私非凸优化收敛性差的问题。
• 分析DP-NSGD这一新型变体的收敛行为，该变体对每个样本的梯度进行归一化而非裁剪。
• 在弱于先前工作的假设下建立更紧的收敛速率，特别是避免对全局梯度上界的要求。
• 通过实证结果表明，DP-NSGD在保持相近准确率的同时比DP-SGD更易于调参，从而减少了隐私预算的消耗。
• 表明DP-NSGD中的正则化因子在收敛性证明中对控制偏差-噪声权衡至关重要。

提出的方法

• 提出DP-NSGD，用正则化因子 $ r > 0 $ 取代每个样本的梯度裁剪，定义为 $ h^{(i)} = \frac{1}{r + \|\mathbf{g}^{(i)}\|} $。
• 对归一化后的梯度添加高斯噪声 $ \mathbf{z} \sim \mathcal{N}(0, \sigma^2 \mathbf{I}_d) $ 以确保差分隐私。
• 使用Rényi差分隐私（RDP）和无放回均匀子采样实现的隐私放大来推导隐私保证。
• 采用RDP的功能视角和组合定理来界定隐私损失，利用文献[8]中关于子采样高斯机制的结果。
• 引入正则化因子 $ r $ 以防止病态条件，并在优化过程中平衡偏差与噪声。
• 在两个温和假设下分析收敛性：$ (L_0, L_1) $-广义光滑性和 $ (\tau_0, \tau_1) $-有界梯度方差。

实验结果

研究问题

• RQ1 在差分隐私非凸优化中，梯度归一化是否能在收敛速率和超参数稳定性方面优于梯度裁剪？
• RQ2 在允许光滑性和梯度方差随梯度范数增长的弱假设下，DP-NSGD的收敛速率如何？
• RQ3 在归一化因子中引入正则化因子 $ r $ 如何影响DP-NSGD中的偏差-噪声权衡？
• RQ4 在实践中，DP-NSGD是否能实现优于DP-SGD的隐私-准确率权衡，尤其是在调参成本方面？
• RQ5 何种隐私会计框架能够通过子采样高斯机制为DP-NSGD提供更紧的界？

主要发现

• 在仅两个温和假设下——$ (L_0, L_1) $-广义光滑性和 $ (\tau_0, \tau_1) $-有界梯度方差——DP-NSGD实现了 $ \mathcal{O}\left(\sqrt[4]{\frac{d\log(1/\delta)}{N^{2}\epsilon^{2}}}\right) $ 的梯度范数收敛速率。
• 该收敛速率优于先前工作中的边界，后者需要更强的假设，如对梯度的全局上界。
• 归一化因子中的正则化因子 $ r $ 对收敛性证明至关重要，并能有效控制偏差与噪声的权衡。
• 实证结果表明，DP-NSGD在达到与DP-SGD相近的最佳准确率的同时，显著更易于调参，减少了对大规模超参数搜索的需求。
• 由于调参需求降低，DP-NSGD更高效地利用了隐私预算，表明其在实际差分隐私学习中可能更具优势。
• 该分析基于改进的隐私会计框架，结合Rényi差分隐私与无放回子采样，实现了比先前方法更紧的边界。