[论文解读] Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising

Milad Nasr, Reza Shokri+1 more|arXiv (Cornell University)|Jul 22, 2020

Privacy-Preserving Technologies in Data参考文献 20被引用 22

一句话总结

该论文提出了一种用于训练具有差分隐私的深度学习模型的新框架，显著改善了隐私-效用权衡。通过将梯度编码到有限向量空间并应用自定义噪声分布（例如学生t分布），该方法实现了更紧致的隐私边界和更高的准确率。通过后处理去噪步骤进一步提升效用，该步骤在不损害隐私的前提下重新缩放噪声梯度，相较于DPSGD在96.1% MNIST准确率下实现了47%更低的隐私预算（ε=3.2 vs. ε=6）。

ABSTRACT

Deep learning models leak significant amounts of information about their training datasets. Previous work has investigated training models with differential privacy (DP) guarantees through adding DP noise to the gradients. However, such solutions (specifically, DPSGD), result in large degradations in the accuracy of the trained models. In this paper, we aim at training deep learning models with DP guarantees while preserving model accuracy much better than previous works. Our key technique is to encode gradients to map them to a smaller vector space, therefore enabling us to obtain DP guarantees for different noise distributions. This allows us to investigate and choose noise distributions that best preserve model accuracy for a target privacy budget. We also take advantage of the post-processing property of differential privacy by introducing the idea of denoising, which further improves the utility of the trained models without degrading their DP guarantees. We show that our mechanism outperforms the state-of-the-art DPSGD; for instance, for the same model accuracy of $96.1\%$ on MNIST, our technique results in a privacy bound of $ε=3.2$ compared to $ε=6$ of DPSGD, which is a significant improvement.

研究动机与目标

• 解决现有差分隐私深度学习方法的主要局限，即因注入噪声而导致的显著准确率下降。
• 通过梯度编码实现对任意噪声分布的隐私边界推导，克服在深度学习中推导此类边界的挑战，从而实现数值估计。
• 通过引入后处理去噪机制，提升模型效用而不削弱隐私保证，增强经过差分隐私保护的梯度的信噪比。
• 证明替代噪声分布（如学生t分布）在DP训练中可实现优于高斯噪声的隐私-效用权衡。
• 通过优化噪声分布与梯度处理，在基准数据集（MNIST、CIFAR-10）上实现最先进性能。

提出的方法

• 使用一组预选参考向量（Ψ）将梯度编码到有限维向量空间，从而实现Rényi差分隐私（RDP）边界的数值计算。
• 通过计算在相邻数据集上编码梯度分布之间的Rényi散度来推导隐私边界，从而支持非高斯噪声分布的使用。
• 对编码后的梯度应用多种噪声分布（高斯、拉普拉斯、学生t分布），并选择在给定隐私预算下使效用损失最小的分布。
• 引入一种去噪机制，根据梯度的大小和方向对经过差分隐私处理的梯度进行重缩放，提升信号保留度，同时通过后处理性质保持原始DP保证。
• 采用自适应噪声缩放与梯度聚合策略，确保训练过程中模型的收敛性与准确率。
• 利用RDP的自适应组合性质，对多个训练步骤的总体隐私预算进行边界控制。

实验结果

研究问题

• RQ1 梯度编码是否能够在仍提供正式隐私保证的前提下，使非高斯噪声分布应用于差分隐私深度学习？
• RQ2 在应用于编码梯度时，哪种噪声分布（如高斯、拉普拉斯、学生t分布）能实现最佳隐私-效用权衡？
• RQ3 后处理去噪在不降低差分隐私保证的前提下，能在多大程度上提升模型效用？
• RQ4 与标准DPSGD相比，梯度编码与去噪的结合对收敛速度和最终模型准确率有何影响？
• RQ5 所提出的框架是否能在标准基准测试中，以比SOTA方法（如DPSGD）更低的隐私预算（ε）实现更高的模型准确率？

主要发现

• 在MNIST上达到相同96.1%的模型准确率时，所提方法的隐私预算为ε=3.2（δ=10⁻⁵），而DPSGD为ε=6，隐私泄露降低了47%。
• 使用学生t分布噪声时，经过差分隐私处理的梯度与原始梯度之间的L1误差低于高斯或拉普拉斯分布，表明梯度信息得到更好保留。
• 去噪机制在早期训练迭代中可将模型准确率提升高达10%，加速收敛并减少达到目标准确率所需的迭代次数。
• 该框架收敛速度优于DPSGD：在MNIST上，其在少于10,000次迭代内达到96%准确率，而DPSGD在相同噪声参数下需超过15,000次迭代。
• 在CIFAR-10上，所提方法在等效隐私预算下实现了高于DPSGD的测试准确率，证明其在多样化数据集上的鲁棒性。
• 梯度编码与去噪的结合使更高效的噪声分布得以使用，从而在保持或提升模型效用的同时降低总体隐私预算。