[论文解读] Fast and Memory Efficient Differentially Private-SGD via JL Projections

Zhiqi Bu, Sivakanth Gopi+4 more|arXiv (Cornell University)|Feb 5, 2021

Privacy-Preserving Technologies in Data参考文献 12被引用 8

一句话总结

本文提出 DP-SGD-JL 和 DP-Adam-JL，这两种差分隐私优化器利用 Johnson-Lindenstrauss（JL）投影来近似计算每样本梯度范数，显著降低内存和计算成本，同时保持隐私。该方法在训练速度和内存使用上接近非私有的 SGD，通过 f-DP 框架实现隐私保障，并在 IMDb LSTM 基准测试中实现显著加速，且不损害隐私-准确率权衡。

ABSTRACT

Differentially Private-SGD (DP-SGD) of Abadi et al. (2016) and its variations are the only known algorithms for private training of large scale neural networks. This algorithm requires computation of per-sample gradients norms which is extremely slow and memory intensive in practice. In this paper, we present a new framework to design differentially private optimizers called DP-SGD-JL and DP-Adam-JL. Our approach uses Johnson-Lindenstrauss (JL) projections to quickly approximate the per-sample gradient norms without exactly computing them, thus making the training time and memory requirements of our optimizers closer to that of their non-DP versions. Unlike previous attempts to make DP-SGD faster which work only on a subset of network architectures or use compiler techniques, we propose an algorithmic solution which works for any network in a black-box manner which is the main contribution of this paper. To illustrate this, on IMDb dataset, we train a Recurrent Neural Network (RNN) to achieve good privacy-vs-accuracy tradeoff, while being significantly faster than DP-SGD and with a similar memory footprint as non-private SGD. The privacy analysis of our algorithms is more involved than DP-SGD, we use the recently proposed f-DP framework of Dong et al. (2019) to prove privacy.

研究动机与目标

• 为解决标准 DP-SGD 中每样本梯度范数计算带来的高计算和内存开销，该开销限制了其在大规模深度学习中的实际应用。
• 设计一种算法解决方案，加速差分隐私训练，且不依赖编译器优化或特定架构的修改。
• 在保持强隐私保障（使用 f-DP 框架）的同时，实现与非私有 SGD 相当的训练速度和内存占用。
• 实现对复杂模型（如 RNN）在私有数据集（如 IMDb）上的高效超参数搜索与训练。

提出的方法

• 使用 Johnson-Lindenstrauss（JL）投影来随机估计每样本梯度 ℓ₂ 范数，避免精确计算。
• 将 JL 投影应用于梯度的随机子空间，实现梯度范数的快速近似，且误差可控。
• 将基于 JL 的范数估计集成到 DP-SGD 和 DP-Adam 框架中，替代精确的每样本梯度范数计算。
• 采用 Dong 等人（2019）提出的 f-DP 框架，对隐私进行形式化分析，考虑 JL 投影引入的误差。
• 利用自适应组合与子采样技术，在 f-DP 框架下推导端到端的隐私边界。
• 采用双重共轭凸函数（**）以在组合定理下计算最紧致的隐私曲线。

实验结果

研究问题

• RQ1 JL 投影能否在 DP-SGD 中用于近似每样本梯度范数，且对隐私和准确率的影响最小？
• RQ2 所提出的 DP-SGD-JL 方法是否在训练速度和内存使用上接近非私有 SGD，同时保持强隐私保障？
• RQ3 JL 维度的选择如何影响最终模型的隐私-准确率权衡？
• RQ4 f-DP 框架能否有效应用于分析使用随机范数估计的差分隐私优化器的隐私性？
• RQ5 DP-SGD-JL 是否适用于复杂模型（如 RNN）在私有数据集上的超参数搜索与训练？

主要发现

• 在 IMDb 数据集上，DP-SGD-JL 训练 LSTM 模型的速度显著快于标准 DP-SGD，且内存使用几乎与非私有 SGD 相当。
• 随着 JL 维度增加，隐私参数 ε 单调递减，并在 JL 维度增大时收敛至普通 DP-SGD 的 ε 值。
• 在 IMDb RNN 基准测试中，该方法实现了有利的隐私-准确率权衡，训练效率优于标准 DP-SGD。
• 通过 f-DP 的理论隐私分析表明，JL 投影引入的误差是受控的，不会损害整体隐私保障。
• 该算法与架构无关，可作为黑盒替换方案，适用于多种神经网络类型。
• 数值评估证实，通过 f-DP 和 JL 投影误差推导出的隐私曲线，比朴素近似更紧致。