[论文解读] Efficient Private ERM for Smooth Objectives

Jiaqi Zhang, Kai Zheng+2 more|arXiv (Cornell University)|Mar 29, 2017

Privacy-Preserving Technologies in Data参考文献 7被引用 15

一句话总结

本文提出了一种基于梯度下降与输出扰动的高效差分隐私经验风险最小化（ERM）算法，适用于平滑、强凸及非凸目标函数。该方法在ε-DP与(ε,δ)-DP设置下均实现了近乎最优的效用，并显著加快了收敛速度，优于以往的私有SGD方法，且首次为私有非凸优化提供了收敛至驻点的理论保证。

ABSTRACT

In this paper, we consider efficient differentially private empirical risk minimization from the viewpoint of optimization algorithms. For strongly convex and smooth objectives, we prove that gradient descent with output perturbation not only achieves nearly optimal utility, but also significantly improves the running time of previous state-of-the-art private optimization algorithms, for both $ε$-DP and $(ε, δ)$-DP. For non-convex but smooth objectives, we propose an RRPSGD (Random Round Private Stochastic Gradient Descent) algorithm, which provably converges to a stationary point with privacy guarantee. Besides the expected utility bounds, we also provide guarantees in high probability form. Experiments demonstrate that our algorithm consistently outperforms existing method in both utility and running time.

研究动机与目标

• 设计更快、更实用的差分隐私ERM优化算法，同时保持强大的效用保证。
• 弥合理论隐私保证与实际效率之间的差距，特别是在大规模数据集上的私有ERM中。
• 将私有优化从凸设置扩展至非凸场景，为平滑非凸目标提供理论收敛保证。
• 证明对近似解（而非精确解）应用输出扰动能在隐私、效用与运行时间之间实现更优权衡。
• 提出一种新型RRPSGD算法，在差分隐私下可证明收敛至非凸目标的驻点。

提出的方法

• 针对平滑、强凸目标，提出一种结合输出扰动的梯度下降方法，利用近似解的稳定性以减少运行时间。
• 引入RRPSGD（随机轮次私有随机梯度下降），一种SGD变体，通过随机轮次与噪声注入实现(ε,δ)-差分隐私。
• 应用Hardt等人[11]的稳定性分析技术于确定性梯度下降，基于算法输出的最坏情况敏感性实现隐私保证。
• 利用目标函数的平滑性以允许更大的梯度步长，从而在保持隐私的同时加速收敛。
• 采用迭代放大原理，支持使用更少迭代次数的mini-batch SGD，提升运行时间，同时不牺牲隐私阶。
• 推导出RRPSGD的高概率收敛边界，将期望效用保证扩展为更强的概率性陈述。

实验结果

研究问题

• RQ1 在强凸性条件下，结合输出扰动的梯度下降能否在差分隐私ERM中实现近乎最优效用与显著更快的运行时间？
• RQ2 能否设计一种针对非凸目标的私有优化算法，可证明收敛至驻点，同时保持(ε,δ)-差分隐私？
• RQ3 对近似解而非精确解应用输出扰动，是否能在私有ERM中实现更优的效率-效用权衡？
• RQ4 能否对梯度下降的稳定性进行形式化分析，以支持平滑、非凸设置下的隐私保证？
• RQ5 在实际应用中，该方法相较于现有私有SGD方法，在多样化数据集上的优化误差与运行时间表现如何？

主要发现

• 对于强凸和平滑目标，所提梯度下降与输出扰动方法的效用边界与理论下界（对数因子内）一致，运行时间相比以往工作提升数个数量级。
• 该算法在ε-DP下运行时间为O(nd log(nε/d))，在(ε,δ)-DP下为O(nd log(nε/√(d log δ)))，显著快于以往私有SGD方法的O(n³d³)运行时间。
• 在BANK、ADULT、CREDITCARD、WINE和BIKE数据集上，所提方法在所有ε与δ设置下均实现了比Bassily等人[1]更低的优化误差与更快的运行时间。
• 对于非凸目标，RRPSGD在期望下可证明收敛至驻点，这是首次为差分隐私非凸优化提供此类理论保证。
• 该方法实现了高概率收敛边界，优于期望效用保证，提升了实际应用中的鲁棒性。
• 实验表明，该方法在效用与运行时间方面均表现出一致优势，与基线私有SGD相比，真实数据集上的加速比高达500倍。