[论文解读] Efficient Privacy-Preserving Stochastic Nonconvex Optimization

Lingxiao Wang, Bargav Jayaraman+2 more|arXiv (Cornell University)|Oct 30, 2019

Privacy-Preserving Technologies in Data参考文献 56被引用 11

一句话总结

该论文提出DP-SRM，一种用于非凸经验风险最小化的差分隐私随机优化算法，通过利用随机递归动量降低梯度方差。与先前工作相比，该方法在隐私-效用权衡上更紧密，收敛速度更快，且在逻辑回归和卷积神经网络等基准非凸问题上实现了更高的效用和更低的梯度复杂度。

ABSTRACT

While many solutions for privacy-preserving convex empirical risk minimization (ERM) have been developed, privacy-preserving nonconvex ERM remains a challenge. We study nonconvex ERM, which takes the form of minimizing a finite-sum of nonconvex loss functions over a training set. We propose a new differentially private stochastic gradient descent algorithm for nonconvex ERM that achieves strong privacy guarantees efficiently, and provide a tight analysis of its privacy and utility guarantees, as well as its gradient complexity. Our algorithm reduces gradient complexity while improves the best previous utility guarantee given by Wang et al. (NeurIPS 2017). Our experiments on benchmark nonconvex ERM problems demonstrate superior performance in terms of both training cost and utility gains compared with previous differentially private methods using the same privacy budgets.

研究动机与目标

• 为解决大规模敏感数据集在非凸机器学习中的隐私保护优化挑战。
• 开发一种差分隐私随机优化算法，在保持强隐私保证的同时提升效用和计算效率。
• 克服先前用于非凸ERM的差分隐私方法中全梯度计算带来的高计算成本。
• 对所提方法提供紧致的理论分析，涵盖隐私（使用Rényi差分隐私）和效用（梯度复杂度和误差界）方面。

提出的方法

• 该方法提出一种新颖的差分隐私随机递归动量（DP-SRM）算法，通过递归动量估计降低梯度方差。
• 采用Rényi差分隐私（RDP）实现精确且紧致的隐私分析，从而获得更优的隐私-效用权衡。
• 算法使用自适应批量大小的随机梯度估计，并通过网格搜索调节动量参数，以平衡收敛性与隐私性。
• 通过维持梯度的递归估计，避免周期性全梯度计算，从而在方差缩减方法中实现更好的可扩展性。
• 通过梯度裁剪和噪声注入确保差分隐私，裁剪参数基于梯度范数选择。
• 理论分析建立了改进的效用界 $ O\big{(}(d\log(1/\delta))^{1/3}/(n\epsilon)^{2/3}\big{)} $ 和梯度复杂度 $ O\big{(}(n\epsilon)^2/(d\log(1/\delta))\big{)} $。

实验结果

研究问题

• RQ1 差分隐私随机优化算法在非凸ERM中能否在保持强隐私保证的同时，实现优于现有方法的效用？
• RQ2 随机递归动量的使用如何提升差分隐私非凸优化的收敛性和效率？
• RQ3 在非凸设置下，隐私预算、梯度复杂度和模型效用之间的最优权衡是什么？
• RQ4 在相同隐私预算下，所提方法能否在测试准确率和训练成本上优于DP-SGD？
• RQ5 与先前工作相比，该算法的理论梯度复杂度和效用界是什么？

主要发现

• 所提DP-SRM算法的效用界为 $ O\big{(}(d\log(1/\delta))^{1/3}/(n\epsilon)^{2/3}\big{)} $，优于先前最优结果 $ O\big{(}(d\log(1/\delta))^{1/4}/(n\epsilon)^{1/2}\big{)} $。
• DP-SRM的梯度复杂度为 $ O\big{(}(n\epsilon)^2/(d\log(1/\delta))\big{)} $，当问题维度 $ d $ 较大时，低于先前方法。
• 在MNIST上，DP-SRM在 $ \epsilon=3.0 $ 和 $ \epsilon=1.2 $ 下分别实现3.62%和4.49%的测试误差，相比DP-SGD准确率分别提升0.19%和0.84%。
• 在CIFAR-10上使用CNN6，DP-SRM在 $ \epsilon=4.0 $ 下实现31.0%的测试误差，性能与DP-SGD相当，但仅需6.8×10³次迭代和643秒，分别为DP-SGD的1.3×10⁴次迭代和1115秒的58%。
• 与DP-SGD相比，该方法将训练时间减少40%，迭代次数减少50%，同时在MNIST和CIFAR-10上实现了相当或更优的模型准确率。
• 实验结果证实，DP-SRM在准确率上最接近非私有基线模型，且在相同隐私预算下显著降低了计算成本。