[论文解读] Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning

Dahua Yu, Huishuai Zhang+2 more|arXiv (Cornell University)|Feb 25, 2021

Privacy-Preserving Technologies in Data参考文献 58被引用 28

一句话总结

GEP通过将私有梯度嵌入到一个无敏感性锚子子空间，并分别对低维嵌入和残差进行扰动，从而降低梯度扰动的维度，在深度模型的差分隐私下实现更高的准确性。

ABSTRACT

The privacy leakage of the model about the training data can be bounded in the differential privacy mechanism. However, for meaningful privacy parameters, a differentially private model degrades the utility drastically when the model comprises a large number of trainable parameters. In this paper, we propose an algorithm \emph{Gradient Embedding Perturbation (GEP)} towards training differentially private deep models with decent accuracy. Specifically, in each gradient descent step, GEP first projects individual private gradient into a non-sensitive anchor subspace, producing a low-dimensional gradient embedding and a small-norm residual gradient. Then, GEP perturbs the low-dimensional embedding and the residual gradient separately according to the privacy budget. Such a decomposition permits a small perturbation variance, which greatly helps to break the dimensional barrier of private learning. With GEP, we achieve decent accuracy with reasonable computational cost and modest privacy guarantee for deep models. Especially, with privacy bound $ε=8$, we achieve $74.9\%$ test accuracy on CIFAR10 and $95.1\%$ test accuracy on SVHN, significantly improving over existing results.

研究动机与目标

• 在实际隐私预算下，激发高维深度模型的DP下效用损失问题的挑战。
• 提出梯度嵌入扰动（GEP），通过对梯度降维来提高效用。
• 为GEP提供理论DP保证并分析残差梯度的行为。
• 在 MNIST、SVHN 和 CIFAR-10 上的实证研究，展示相较于基线的最先进DP学习性能。

提出的方法

• 通过幂法从非敏感的辅助数据构建锚子子空间，以捕捉锚梯度的主成分。
• 将私有梯度投影到锚子子空间，以获得低维嵌入和残差梯度。
• 对梯度嵌入和残余梯度分别加入高斯噪声以实现DP，组合后确保无偏梯度估计。
• 使用Rényi DP提供DP分析并转换为（ε, δ）-DP；使用梯度裁剪控制灵敏度S1和S2。
• 实现按组基础以降低计算量；使用两阶段噪声添加以提高深度模型的效用。

实验结果

研究问题

• RQ1 如何在高维模型的DP梯度扰动中降低有效噪声能量？
• RQ2 低维梯度嵌入加上残差分量是否能够实现对深度网络的准确私有学习？
• RQ3 在常见视觉数据集上使用GEP时，DP保证和实际界限是什么？
• RQ4 在类似隐私预算下，GEP与GP（标准DP-SGD）和PATE在基准数据集上的对比如何？

主要发现

• GEP在多个隐私预算下，相较于DP梯度扰动基线（GP），在MNIST、SVHN和CIFAR-10上实现了显著的准确性提升。
• 在CIFAR-10 ε=8 时，GEP达到74.9%的测试准确率，显著超越GP约18.5个百分点。
• 对于SVHN，在ε=8 时，GEP达到95.1%的测试准确率，优于GP约3.5个百分点。
• 对于MNIST，GEP在ε=8时达到98.4%的测试准确率，超越GP约1.2个百分点。
• GEP在这些基准上展现出与PATE竞争力或优越的性能，尤其是在更复杂的数据集如CIFAR-10。