[论文解读] Dimension Independence in Unconstrained Private ERM via Adaptive Preconditioning.

Peter Kairouz, Mónica Ribero+2 more|arXiv (Cornell University)|Aug 14, 2020

Stochastic Gradient Optimization Techniques参考文献 11被引用 10

一句话总结

本文针对无约束凸经验风险最小化问题，提出了一种用于差分隐私的噪声自适应预处理方法（噪声AdaGrad），表明当梯度位于低秩子空间时，过剩经验风险的量级为$\tilde{O}(1/\epsilon n)$，且与环境维度$p$无关，从而在差分隐私下实现了维度无关的泛化。该方法利用梯度子空间结构，降低了噪声的影响。

ABSTRACT

In this paper we revisit the problem of private empirical risk minimziation (ERM) with differential privacy. We show that for unconstrained convex empirical risk minimization if the observed gradients of the objective function along the path of private gradient descent lie in a low-dimensional subspace (smaller than the ambient dimensionality of $p$), then using noisy adaptive preconditioning (a.k.a., noisy Adaptive Gradient Descent (AdaGrad)) we obtain a regret composed of two terms: a constant multiplicative factor of the original AdaGrad regret and an additional regret due to noise. In particular, we show that if the gradients lie in a constant rank subspace, then one can achieve an excess empirical risk of $ ilde{O}(1/\epsilon n)$, compared to the worst-case achievable bound of $ ilde{O}(\sqrt{p}/\epsilon n)$. While previous works show dimension independent excess empirical risk bounds for the restrictive setting of convex generalized linear problems optimized over unconstrained subspaces, our results operate with general convex functions in unconstrained minimization. Along the way, we do a perturbation analysis of noisy AdaGrad, which may be of independent interest.

研究动机与目标

• 为解决无约束凸问题在差分隐私经验风险最小化中高维噪声的挑战。
• 开发一种在差分隐私下实现维度无关过剩经验风险界的方法。
• 将先前仅限于广义线性模型的结果，拓展到更一般凸函数，突破了严格假设的限制。
• 分析自适应梯度方法中噪声的扰动效应，特别是噪声AdaGrad，以获得理论和实际洞察。

提出的方法

• 将噪声自适应预处理（噪声AdaGrad）应用于私有梯度下降，其中通过添加噪声来保持差分隐私，自适应地更新海森矩阵近似。
• 利用无约束凸ERM中梯度通常位于低维子空间的观察结果，降低有效维度。
• 推导出将 regret 分解为与原始AdaGrad regret成正比的项和额外的噪声引起的 regret 的边界。
• 通过噪声AdaGrad的扰动分析，限制噪声对收敛性的影响，表明在低秩梯度动态下具有稳定性。
• 证明当梯度张成一个常数秩子空间时，噪声引起的 regret 相对于主项可忽略不计。
• 提出了一项维度无关的过剩经验风险界$\tilde{O}(1/\epsilon n)$，优于最坏情况下的$\tilde{O}(\sqrt{p}/\epsilon n)$。

实验结果

研究问题

• RQ1 自适应预处理能否在一般凸函数的差分隐私ERM中减少对环境维度$p$的依赖？
• RQ2 噪声对自适应梯度方法（如AdaGrad）在私有优化中收敛性的影响是什么？
• RQ3 在何种条件下，私有ERM的梯度路径位于低维子空间中，从而实现维度无关的界？
• RQ4 能否将噪声AdaGrad的 regret 分解为一个清晰信号项和一个噪声项，且在低秩梯度假设下后者有界？
• RQ5 是否可能在广义线性模型之外的场景中，实现$\tilde{O}(1/\epsilon n)$的过剩经验风险？

主要发现

• 当梯度位于常数秩子空间时，噪声AdaGrad的过剩经验风险为$\tilde{O}(1/\epsilon n)$，且与环境维度$p$无关。
• 所提方法的 regret 由原始AdaGrad regret的常数倍加上额外的噪声项组成，该噪声项在低秩梯度动态下有界。
• 当$p$较大时，该方法相较于最坏情况下的$\tilde{O}(\sqrt{p}/\epsilon n)$边界实现了显著改进。
• 对噪声AdaGrad的扰动分析为该方法在差分隐私下的稳定性和收敛性提供了理论依据。
• 该结果将先前仅限于广义线性模型的维度无关边界推广至无约束最小化中的通用凸函数。
• 该框架使得在梯度结构为低秩时，能够实现对高维参数空间不敏感的实用私有学习。