[论文解读] Bypassing the Ambient Dimension: Private SGD with Gradient Subspace Identification

Yingxue Zhou, Steven Z. Wu+1 more|arXiv (Cornell University)|Jul 7, 2020

Privacy-Preserving Technologies in Data参考文献 33被引用 20

一句话总结

本文提出 Projected DP-SGD，一种新颖的差分隐私优化方法，通过将梯度更新投影到从少量公开数据集中识别出的低维子空间中，从而减少噪声。通过利用深度神经网络梯度的内在低维结构，该方法在不增加隐私损失的前提下显著提升了模型准确率——尤其在高隐私约束下，避免了标准 DP-SGD 中固有的环境维度依赖性。

ABSTRACT

Differentially private SGD (DP-SGD) is one of the most popular methods for solving differentially private empirical risk minimization (ERM). Due to its noisy perturbation on each gradient update, the error rate of DP-SGD scales with the ambient dimension $p$, the number of parameters in the model. Such dependence can be problematic for over-parameterized models where $p \\gg n$, the number of training samples. Existing lower bounds on private ERM show that such dependence on $p$ is inevitable in the worst case. In this paper, we circumvent the dependence on the ambient dimension by leveraging a low-dimensional structure of gradient space in deep networks -- that is, the stochastic gradients for deep nets usually stay in a low dimensional subspace in the training process. We propose Projected DP-SGD that performs noise reduction by projecting the noisy gradients to a low-dimensional subspace, which is given by the top gradient eigenspace on a small public dataset. We provide a general sample complexity analysis on the public dataset for the gradient subspace identification problem and demonstrate that under certain low-dimensional assumptions the public sample complexity only grows logarithmically in $p$. Finally, we provide a theoretical analysis and empirical evaluations to show that our method can substantially improve the accuracy of DP-SGD in the high privacy regime (corresponding to low privacy loss $\\epsilon$).

研究动机与目标

• 为解决在参数数量 p 远大于训练样本数 n 的过参数化模型中，DP-SGD 出现的高误差率问题。
• 通过利用深度神经网络梯度空间中的低维结构，克服 DP-SGD 中固有的依赖于 p 的误差扩展问题。
• 开发一种实用的私有优化框架，利用少量公开数据集识别低维梯度子空间以实现降噪。
• 证明在低维假设下，用于子空间识别的公开数据样本复杂度随 p 的对数增长。
• 通过实证验证，该方法在高隐私设置下可改善泛化性能与隐私-准确率权衡。

提出的方法

• 该方法提出 Projected DP-SGD，将噪声梯度投影到由小规模公开数据集上计算的梯度二阶矩矩阵的前 k 个特征向量张成的低维子空间中。
• 利用小规模公开数据集 S_h 的经验梯度协方差矩阵的前 k 个特征空间识别梯度子空间，从而在不增加隐私预算的前提下降低噪声影响。
• 算法在全 p 维空间中注入噪声执行私有 SGD，随后将结果投影至 k 维子空间，以最小化重构误差。
• 子空间每隔 s 次迭代更新一次（例如每 s 次迭代），以适应训练过程中梯度结构的变化，降低计算成本。
• 理论分析表明，在低秩梯度假设下，准确识别子空间所需的公开数据样本复杂度随 p 的对数增长。
• 该方法具有模块化设计，可通过将标准梯度扰动替换为子空间投影噪声，轻松集成至现有 DP-SGD 实现中。

实验结果

研究问题

• RQ1 能否通过利用深度网络梯度中的低维结构，缓解 DP-SGD 中的环境维度依赖性？
• RQ2 使用少量公开数据集识别梯度子空间，是否能提升私有学习中的泛化性能？
• RQ3 公开数据集的大小如何影响子空间识别过程的准确率与稳定性？
• RQ4 当子空间更新频率降低时，计算成本与性能之间的权衡如何？
• RQ5 在高隐私场景下，该方法能否实现优于标准 DP-SGD 的隐私-准确率权衡？

主要发现

• 当 k=50 时，Projected DP-SGD 在 MNIST 和 Fashion-MNIST 上的测试准确率高于标准 DP-SGD，尽管梯度被投影至 25,000 个参数中的 50 维子空间。
• 在 ε=0.23 时，使用 m=150 个公开样本的 PDP-SGD 表现优于 m=50 的情况，表明更大的公开数据集可提升子空间估计质量。
• 当 k=50 时，PDP-SGD 稳定优于其他 k 值（10、20、30），因其在重构误差与降噪之间实现了更优平衡。
• 降低子空间更新频率（例如每 10 或 20 次迭代更新一次）仅导致准确率轻微下降，从而实现显著的计算节省。
• 在高隐私场景（低 ε）下，PDP-SGD 显著优于 DP-SGD，证明了通过子空间投影实现有效降噪。
• 实证结果证实，深度网络中的梯度方向确实位于低维子空间中，验证了该方法的核心假设。