[论文解读] Differentially Private Empirical Risk Minimization Revisited: Faster and More General

Di Wang, Minwei Ye+1 more|arXiv (Cornell University)|Feb 14, 2018

Complexity and Algorithms in Graphs被引用 141

一句话总结

本文重新审视对数型差分隐私的经验风险最小化（DP-ERM）在凸与非凸损失下的表现，提出具有改进效用界和更快梯度扰动算法，并将结果扩展到 Polyak-Lojasiewicz 条件。

ABSTRACT

In this paper we study the differentially private Empirical Risk Minimization (ERM) problem in different settings. For smooth (strongly) convex loss function with or without (non)-smooth regularization, we give algorithms that achieve either optimal or near optimal utility bounds with less gradient complexity compared with previous work. For ERM with smooth convex loss function in high-dimensional ($p\\gg n$) setting, we give an algorithm which achieves the upper bound with less gradient complexity than previous ones. At last, we generalize the expected excess empirical risk from convex loss functions to non-convex ones satisfying the Polyak-Lojasiewicz condition and give a tighter upper bound on the utility than the one in \\cite{ijcai2017-548}.

研究动机与目标

• 为敏感数据上的经验风险最小化（ERM）提供高效的差分隐私动机。
• 在凸、强凸和非凸设定下改进 DP-ERM 的效用界和梯度复杂度。
• 将 DP-ERM 分析扩展到满足 Polyak-Lojasiewicz 条件的非凸损失。
• 通过几何约束集降低维度依赖，解决高维 ERM 问题。

提出的方法

• 提出 DP-SVRG 与 DP-SVRG++ 变体，使用高斯梯度扰动以实现私有近端更新。
• 通过高斯机制和矩进数计算器建立隐私性，且对噪声尺度 csigma^2 有界，等于 G^2Tm/n^2psilon^2。
• 在强凸与非强凸情形下展示改进的效用界，并进行梯度复杂度分析。
• 引入 DP-AccMD，利用高斯宽度和 Minkowski 范数实现高维、几何感知的 DP-ERM。
• 将分析推广至满足 Polyak-Lojasiewicz 条件的非凸目标，并给出更紧的效用界。

实验结果

研究问题

• RQ1 梯度扰动 DP-ERM 如何在凸与强凸损失下实现更好的效用和更低的梯度复杂度？
• RQ2 DP-ERM 能否通过几何约束在高维设定下有效扩展，减少对维度的依赖？
• RQ3 在 DP 下，非强凸和非凸损失在效用方面的保证，特别是在 Polyak-Lojasiewicz 条件下，是怎样的？
• RQ4 DP-AccMD 是否通过利用高斯宽度和 Minkowski 范数在私有 ERM 中实现更快的收敛？
• RQ5 隐私账户方法（高斯机制、矩进数、先进复合）如何影响实际的 DP-ERM 算法？

主要发现

• DP-SVRG 在强凸情形下实现了接近最优的效用，同时相比于先前的 DP 方法具有更低的梯度复杂度。
• DP-SVRG++ 在非强凸情形下达到近似最优的效用，且高维下的梯度复杂度改进为 O(n^{1.5})。
• DP-AccMD 在高斯噪声下提供隐私保证，且效用界与高斯宽度 G_C 与直径 ||C||_2 的尺度相关，而非依赖环境维度。
• 对于满足 Polyak-Lojasiewicz 条件的非凸目标，DP-GD 在 n 与 p 的依赖关系下提供接近最优的超额经验风险。
• 该框架在光滑/凸、高维以及某些非凸设置下统一了 DP-ERM，并给出比以往结果更紧的界。