[论文解读] Fast Dimension Independent Private AdaGrad on Publicly Estimated Subspaces

Peter Kairouz, Mónica Ribero+2 more|arXiv (Cornell University)|Aug 14, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用 9

一句话总结

本文提出了一种差异隐私自适应梯度下降（AdaGrad）算法，通过利用公开估计的梯度子空间和已知的梯度范数包络，实现了与维度无关的收敛性。其遗憾界为 $ O(\text{Tr}(G_T)/T) $，导致超出经验风险为 $ \widetilde{O}(1/\varepsilon n) $，当梯度随时间衰减时，优于 DP-SGD 的 $ \widetilde{O}(\sqrt{p}/\varepsilon n) $。

ABSTRACT

We revisit the problem of empirical risk minimziation (ERM) with differential privacy. We show that noisy AdaGrad, given appropriate knowledge and conditions on the subspace from which gradients can be drawn, achieves a regret comparable to traditional AdaGrad plus a well-controlled term due to noise. We show a convergence rate of $O( ext{Tr}(G_T)/T)$, where $G_T$ captures the geometry of the gradient subspace. Since $ ext{Tr}(G_T)=O(\sqrt{T})$ we can obtain faster rates for convex and Lipschitz functions, compared to the $O(1/\sqrt{T})$ rate achieved by known versions of noisy (stochastic) gradient descent with comparable noise variance. In particular, we show that if the gradients lie in a known constant rank subspace, and assuming algorithmic access to an envelope which bounds decaying sensitivity, one can achieve faster convergence to an excess empirical risk of $ ilde O(1/εn)$, where $ε$ is the privacy budget and $n$ the number of samples. Letting $p$ be the problem dimension, this result implies that, by running noisy Adagrad, we can bypass the DP-SGD bound $ ilde O(\sqrt{p}/εn)$ in $T=(εn)^{2/(1+2α)}$ iterations, where $α\geq 0$ is a parameter controlling gradient norm decay, instead of the rate achieved by SGD of $T=ε^2n^2$. Our results operate with general convex functions in both constrained and unconstrained minimization. Along the way, we do a perturbation analysis of noisy AdaGrad of independent interest. Our utility guarantee for the private ERM problem follows as a corollary to the regret guarantee of noisy AdaGrad.

研究动机与目标

• 为解决在过参数化模型中，差异隐私 ERM 的超出经验风险随维度 $ p $ 增长的问题。
• 开发一种在差异隐私下实现 AdaGrad 风格遗憾率的私有化优化算法。
• 证明当梯度位于已知的低秩子空间中且梯度范数可预测衰减时，与维度无关的收敛性是可能的。
• 识别出在何种条件下，带噪声的 AdaGrad 可以达到非私有 AdaGrad 的性能，同时确保 $ (\varepsilon,\delta) $-差异隐私。
• 证明可利用公开数据估计梯度子空间而不损害隐私，从而实现更快的收敛速度。

提出的方法

• 引入一种使用公开估计的有界秩 $ k \ll p $ 子空间进行梯度预处理的带噪声 AdaGrad 算法。
• 通过访问梯度最大范数的常数因子包络 $ L(t) $ 来控制敏感度并确保隐私。
• 采用与 $ \gamma = O(1/\varepsilon n) $ 成比例的噪声缩放，该值由隐私预算和样本大小推导得出，以维持 $ (\varepsilon,\delta) $-差异隐私。
• 应用在线到批量转换，将在线凸优化中的遗憾界转化为 ERM 的超出经验风险保证。
• 分析带噪声 AdaGrad 中的矩阵扰动，推导出与环境维度无关的稳定性与收敛性特性。
• 证明收敛速率取决于自适应预处理矩阵 $ G_T $ 的迹，该矩阵捕捉了数据的内在几何结构，而非完整维度 $ p $。

实验结果

研究问题

• RQ1 在梯度几何满足适当假设的前提下，能否在差异隐私 ERM 设置中实现 AdaGrad 风格的遗憾率？
• RQ2 当梯度位于已知的低秩子空间中时，私有化 AdaGrad 是否能实现与维度无关的收敛性？
• RQ3 梯度范数衰减调度对私有化优化收敛速率有何影响？
• RQ4 能否利用公开数据估计梯度子空间而不违反隐私，从而实现更快收敛？
• RQ5 在不依赖公开数据的前提下，是否可能在无约束私有化 ERM 中实现 $ \widetilde{O}(1/\varepsilon n) $ 的超出风险？

主要发现

• 在已知子空间和梯度范数包络的条件下，所提出的带噪声 AdaGrad 算法的超出经验风险为 $ \widetilde{O}(1/\varepsilon n) $，且与环境维度 $ p $ 无关。
• 遗憾界为 $ O(\text{Tr}(G_T)/T) $，其中 $ G_T $ 捕获了梯度子空间的几何结构，使得收敛速度优于标准私有化 SGD 的 $ O(1/\sqrt{T}) $。
• 对于 $ \alpha > 0 $，该算法仅需 $ T = (\varepsilon n)^{2/(1+2\alpha)} $ 次迭代，远少于 DP-SGD 所需的 $ T = \varepsilon^2 n^2 $。
• 该方法通过将对 $ \sqrt{p} $ 的依赖替换为对内在维度 $ \text{intdim}(G_T) $ 的依赖（定义为 $ \text{Tr}(G_T)/\|G_T\|_{op} $）实现了维度独立性。
• 在无约束设置下，标准 DP-SGD 无需公开数据即可实现维度独立性，这通过在梯度特征空间中对最优解的 $ \ell_2 $-范数的新型分析得以证明。
• 分析表明，梯度范数调度对隐私和性能至关重要，且在约束设置下，私有化子空间估计无法消除 $ \sqrt{p} $ 的依赖。