[论文解读] Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent

Shuang Song, Thomas Steinke+2 more|arXiv (Cornell University)|Jun 11, 2020

Privacy-Preserving Technologies in Data参考文献 55被引用 8

一句话总结

该论文为无约束广义线性模型（GLMs）提出了差分隐私梯度下降（DP-GD），实现了与模型维度 $p$ 无关的 excess empirical risk $\widetilde{O}(\sqrt{\text{rank}}/(varepsilon n))$。关键贡献在于提出了一个与维度无关的界，从而避开了维度灾难，通过新颖的下界证明了该界的紧致性，并进一步扩展至非凸GLM情形以及实际应用中的裁剪DP-GD变体。

ABSTRACT

We revisit the well-studied problem of differentially private empirical risk minimization (ERM). We show that for unconstrained convex generalized linear models (GLMs), one can obtain an excess empirical risk of $ ilde O\left(\sqrt{ exttt{rank}}/εn ight)$, where ${ exttt{rank}}$ is the rank of the feature matrix in the GLM problem, $n$ is the number of data samples, and $ε$ is the privacy parameter. This bound is attained via differentially private gradient descent (DP-GD). Furthermore, via the first lower bound for unconstrained private ERM, we show that our upper bound is tight. In sharp contrast to the constrained ERM setting, there is no dependence on the dimensionality of the ambient model space ($p$). (Notice that ${ exttt{rank}}\leq \min\{n, p\}$.) Besides, we obtain an analogous excess population risk bound which depends on ${ exttt{rank}}$ instead of $p$. For the smooth non-convex GLM setting (i.e., where the objective function is non-convex but preserves the GLM structure), we further show that DP-GD attains a dimension-independent convergence of $ ilde O\left(\sqrt{ exttt{rank}}/εn ight)$ to a first-order-stationary-point of the underlying objective. Finally, we show that for convex GLMs, a variant of DP-GD commonly used in practice (which involves clipping the individual gradients) also exhibits the same dimension-independent convergence to the minimum of a well-defined objective. To that end, we provide a structural lemma that characterizes the effect of clipping on the optimization profile of DP-GD.

研究动机与目标

• 填补无约束差分隐私经验风险最小化（DP-ERM）理论理解的空白，特别是针对广义线性模型（GLMs）。
• 通过证明 excess risk 依赖于特征矩阵的秩而非环境维度 $p$，克服私有学习中的维度灾难。
• 为无约束私有 ERM 建立首个紧致下界，证明所提出的上界最优。
• 将与维度无关的收敛性扩展至非凸GLM设置，表明其收敛至一阶驻点。
• 分析凸GLM设置下实际裁剪DP-GD变体的鲁棒性，表明其仍能实现相同的与维度无关的风险界。

提出的方法

• 提出差分隐私梯度下降（DP-GD）作为无约束GLMs的核心优化方法，通过注入噪声确保 $\varepsilon$-差分隐私。
• 利用指纹码推导出无约束DP-ERM的 excess empirical risk 的新颖下界，证明上界紧致性。
• 提出一个结构引理，刻画梯度裁剪对DP-GD优化特性的影响，从而支持对实际实现的分析。
• 分析光滑非凸GLM设置下DP-GD收敛至一阶驻点的性能，表明其具有与维度无关的收敛速率。
• 定义一个保持GLM结构的裁剪目标函数 $\mathcal{L}^{(B)}_{\text{clipped}}$，并证明裁剪DP-GD以相同速率收敛至其最小值。
• 利用Rényi差分隐私（RDP）和通过子采样实现的隐私放大机制，以考虑DP-GD随机变体中的隐私预算。

实验结果

研究问题

• RQ1 是否可以使无约束私有GLM学习中的 excess empirical risk 独立于环境维度 $p$？
• RQ2 所提出的 $\widetilde{O}(\sqrt{\text{rank}}/(varepsilon n))$ excess empirical risk 上界是否紧致？在无约束设置下的根本限制是什么？
• RQ3 差分隐私梯度下降（DP-GD）在非凸GLM设置下是否仍保持与维度无关的收敛性？
• RQ4 梯度裁剪如何影响实际私有GLM训练中的优化行为与隐私-准确率权衡？
• RQ5 能否为裁剪DP-GD构造一个定义良好的目标函数，使其收敛特性与未裁剪情形一致？

主要发现

• 对于无约束凸GLMs，DP-GD的 excess empirical risk 为 $\widetilde{O}(\sqrt{\text{rank}}/(varepsilon n))$，且与环境维度 $p$ 无关，其中 $\text{rank}$ 为特征矩阵的秩。
• 该上界是紧致的，通过为无约束私有ERM建立的新下界得以证明，该下界确立了 $\Omega(\sqrt{\text{rank}}/(varepsilon n))$ 为根本极限。
• 对于光滑非凸GLMs，DP-GD以 $\widetilde{O}(\sqrt{\text{rank}}/(varepsilon n))$ 的速率收敛至一阶驻点，同样与 $p$ 无关。
• 采用梯度裁剪的DP-GD变体，可保持相同的与维度无关的收敛速率，收敛至一个定义良好的裁剪目标 $\mathcal{L}^{(B)}_{\text{clipped}}$ 的最小值。
• 结构引理表明，只要适当选择裁剪范数 $B$，裁剪不会降低收敛速率，同时保持GLM结构。
• 在Cod-RNA数据集上的实验表明，该方法在不同输入维度下均保持高测试准确率，验证了其与维度无关的结论。