[论文解读] Differentially Private Stochastic Optimization: New Results in Convex and Non-Convex Settings

Raef Bassily, Cristóbal Guzmán+1 more|University of Twente Research Information|Jul 12, 2021

Stochastic Gradient Optimization Techniques参考文献 37被引用 6

一句话总结

本文提出了一类新颖的差分隐私随机优化算法，适用于凸与非凸设置，实现了近乎线性时间复杂度和改进的过剩风险界。该工作首次在 $\ell_1$-范数下实现了 $\varepsilon$-差分隐私 $\varepsilon$-平稳点的近乎维度无关速率，且在 $\ell_2$-范数约束下，首次提出了非光滑弱凸优化的线性时间算法。

ABSTRACT

We study differentially private stochastic optimization in convex and non-convex settings. For the convex case, we focus on the family of non-smooth generalized linear losses (GLLs). Our algorithm for the $\ell_2$ setting achieves optimal excess population risk in near-linear time, while the best known differentially private algorithms for general convex losses run in super-linear time. Our algorithm for the $\ell_1$ setting has nearly-optimal excess population risk $ ilde{O}\big(\sqrt{\frac{\log{d}}{n\varepsilon}}\big)$, and circumvents the dimension dependent lower bound of \cite{Asi:2021} for general non-smooth convex losses. In the differentially private non-convex setting, we provide several new algorithms for approximating stationary points of the population risk. For the $\ell_1$-case with smooth losses and polyhedral constraint, we provide the first nearly dimension independent rate, $ ilde O\big(\frac{\log^{2/3}{d}}{(n\varepsilon)^{1/3}}\big)$ in linear time. For the constrained $\ell_2$-case with smooth losses, we obtain a linear-time algorithm with rate $ ilde O\big(\frac{1}{n^{1/3}}+\frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big)$. Finally, for the $\ell_2$-case we provide the first method for {\em non-smooth weakly convex} stochastic optimization with rate $ ilde O\big(\frac{1}{n^{1/4}}+\frac{d^{1/6}}{(n\varepsilon)^{1/3}}\big)$ which matches the best existing non-private algorithm when $d= O(\sqrt{n})$. We also extend all our results above for the non-convex $\ell_2$ setting to the $\ell_p$ setting, where $1 < p \leq 2$, with only polylogarithmic (in the dimension) overhead in the rates.

研究动机与目标

• 解决非光滑随机凸优化中缺乏线性时间差分隐私算法的问题。
• 通过实现近乎维度无关的过剩风险，克服非光滑 $\ell_1$-范数设置下的维度依赖下界。
• 为差分隐私非凸优化设计首个线性时间算法，适用于光滑与弱凸损失。
• 将结果推广至一般 $\ell_p$-范数设置（$1 \leq p \leq 2$），仅引入维度的多对数级开销。
• 在非凸设置中提供总体水平的保证，避免经验风险最小化方法的局限性。

提出的方法

• 提出一种新颖的差分隐私近端梯度方法，结合自适应正则化与迭代精炼，以确保隐私性和收敛性。
• 利用强凸性与近端映射技术，控制到近似平稳点的总体风险距离。
• 设计一系列精心调整的正则化参数与步长，以平衡隐私预算与收敛速率。
• 采用高斯机制，噪声规模与梯度敏感性成比例，确保 $(\varepsilon,\delta)$-差分隐私。
• 利用 $p \approx 1$ 时 $\ell_p$-范数的等价性，将 $\ell_1$ 结果扩展至 $\ell_p$，仅引入多对数级开销。
• 在多轮迭代中使用递归平均方案，以改善到平稳点的期望距离。

实验结果

研究问题

• RQ1 我们能否在非光滑凸广义线性损失的 $\ell_2$-范数下，实现近乎线性时间的差分隐私随机优化？
• RQ2 我们能否在非光滑 $\ell_1$-范数差分隐私随机凸优化中，绕过维度依赖的下界，同时保持最优过剩风险？
• RQ3 在 $\ell_1$-范数约束下，差分隐私非凸优化的光滑损失最优速率为何？
• RQ4 我们能否为 $\ell_2$-范数约束下的差分隐私非凸优化设计线性时间算法，且损失为弱凸？
• RQ5 与 $\ell_2$-范数情形相比，$\ell_p$-范数设置下（$1 < p \leq 2$）的速率如何随维度变化？

主要发现

• 在 $\ell_2$-范数下，针对非光滑广义线性损失，算法在近乎线性时间内实现了最优过剩总体风险 $O\big{(}\frac{1}{\sqrt{n}} + \frac{\sqrt{d}}{n\varepsilon}\big{)}$。
• 在 $\ell_1$-范数下，算法实现了近乎维度无关的过剩风险 $\tilde{O}\big{(}\sqrt{\frac{\log d}{n\varepsilon}}\big{)}$，从而绕过了先前工作中 $\Omega(\sqrt{d})$ 的下界。
• 在 $\ell_1$-范数约束下，针对光滑非凸损失，算法在时间复杂度为线性时实现了 $\tilde{O}\big{(}\frac{\log^{2/3} d}{(n\varepsilon)^{1/3}}\big{)}$ 的速率。
• 在 $\ell_2$-范数约束下，针对光滑非凸损失，算法在时间复杂度为线性时实现了 $\tilde{O}\big{(}\frac{1}{n^{1/3}} + \frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big{)}$ 的速率。
• 在 $\ell_2$-范数下，针对非光滑弱凸损失，算法实现了 $\tilde{O}\big{(}\frac{1}{n^{1/4}} + \frac{d^{1/6}}{(n\varepsilon)^{1/3}}\big{)}$ 的速率，当 $d = O(\sqrt{n})$ 时，与非私有情形的极小化率一致。
• 所有 $\ell_2$-范数下的结果均可推广至 $\ell_p$-范数（$1 < p \leq 2$），仅引入维度 $d$ 的多对数级开销。