[论文解读] Estimating Smooth GLM in Non-interactive Local Differential Privacy Model with Public Unlabeled Data

Di Wang, Lijie Hu+3 more|arXiv (Cornell University)|Oct 1, 2019

Privacy-Preserving Technologies in Data参考文献 44被引用 13

一句话总结

该论文通过利用公开的未标注数据，在非交互式本地差分隐私（NLDP）模型下，提出了高效估计平滑广义线性模型（GLMs）的算法。通过采用斯坦因引理的一种变体，作者实现了多项式样本复杂度——具体而言，私有数据的样本复杂度为 $ ilde{O}(p^3\alpha^{-2}\epsilon^{-2})$，公开数据的样本复杂度为 $O(p\alpha^{-2})$，相较于以往的指数级或准多项式界有显著改进。

ABSTRACT

In this paper, we study the problem of estimating smooth Generalized Linear Models (GLMs) in the Non-interactive Local Differential Privacy (NLDP) model. Different from its classical setting, our model allows the server to access some additional public but unlabeled data. In the first part of the paper we focus on GLMs. Specifically, we first consider the case where each data record is i.i.d. sampled from a zero-mean multivariate Gaussian distribution. Motivated by the Stein's lemma, we present an $(ε, δ)$-NLDP algorithm for GLMs. Moreover, the sample complexity of public and private data for the algorithm to achieve an $\ell_2$-norm estimation error of $α$ (with high probability) is ${O}(p α^{-2})$ and $ ilde{O}(p^3α^{-2}ε^{-2})$ respectively, where $p$ is the dimension of the feature vector. This is a significant improvement over the previously known exponential or quasi-polynomial in $α^{-1}$, or exponential in $p$ sample complexities of GLMs with no public data. Then we consider a more general setting where each data record is i.i.d. sampled from some sub-Gaussian distribution with bounded $\ell_1$-norm. Based on a variant of Stein's lemma, we propose an $(ε, δ)$-NLDP algorithm for GLMs whose sample complexity of public and private data to achieve an $\ell_\infty$-norm estimation error of $α$ is ${O}(p^2α^{-2})$ and $ ilde{O}(p^2α^{-2}ε^{-2})$ respectively, under some mild assumptions and if $α$ is not too small ({\em i.e.,} $α\geq Ω(\frac{1}{\sqrt{p}})$). In the second part of the paper, we extend our idea to the problem of estimating non-linear regressions and show similar results as in GLMs for both multivariate Gaussian and sub-Gaussian cases. Finally, we demonstrate the effectiveness of our algorithms through experiments on both synthetic and real-world datasets.

研究动机与目标

• 解决在非交互式本地差分隐私（NLDP）下估计GLMs的挑战，传统方法在此类场景下面临指数级样本复杂度。
• 克服现有NLDP方法在准确估计时需要准多项式或指数级样本量的局限性。
• 利用公开的未标注数据，显著降低NLDP设置下对私有数据的样本复杂度。
• 将所提出的框架扩展至具有类似效率保证的非线性回归模型。
• 在合成数据和真实世界数据集上，展示算法的实际有效性。

提出的方法

• 基于斯坦因引理的一种变体，提出一种 $(\epsilon,\delta)$-NLDP 算法用于GLMs，实现在隐私约束下的高效估计。
• 利用公开的未标注数据来估计特征分布的协方差矩阵，这对准确估计GLM参数至关重要。
• 采用带隐私保护噪声注入的平滑经验风险最小化方法，以确保本地差分隐私。
• 通过分析子高斯分布和高斯分布假设下的 $\ell_2$ 与 $\ell_\infty$ 估计误差，推导出样本复杂度的理论界。
• 针对不同链接函数（如逻辑斯蒂、S型、三次函数）设计独立算法，通过适配基于斯坦因的估计框架。
• 将公开数据整合到估计过程中，在保持隐私保证的同时减少对私有数据的依赖。

实验结果

研究问题

• RQ1 能否有效利用公开的未标注数据，以降低NLDP模型下GLM估计的样本复杂度？
• RQ2 当存在公开数据时，GLM在NLDP下的理论样本复杂度是多少？
• RQ3 基于斯坦因引理的所提方法相较于以往具有指数级或准多项式样本复杂度的NLDP方法有何改进？
• RQ4 该框架能否扩展至具有类似效率和隐私保证的非线性回归模型？
• RQ5 在不同隐私强度和数据规模约束下，所提算法在真实世界和合成数据集上的实际性能如何？

主要发现

• 所提算法在私有数据上实现 $\ell_2$-范数估计误差为 $\alpha$，所需样本数为 $O(p\alpha^{-2})$ 的公开数据和 $\tilde{O}(p^3\alpha^{-2}\epsilon^{-2})$ 的私有数据，相较于以往的指数级或准多项式界有显著提升。
• 对于具有有界 $\ell_1$-范数的子高斯数据，在较弱假设下且当 $\alpha \geq \Omega(1/\sqrt{p})$ 时，算法实现 $\ell_\infty$-范数误差 $\alpha$，所需样本数为 $O(p^2\alpha^{-2})$ 的公开数据和 $\tilde{O}(p^2\alpha^{-2}\epsilon^{-2})$ 的私有数据。
• 该框架成功扩展至非线性回归模型，包括指数型、逻辑斯蒂型和三次型链接函数，且具有相似的样本复杂度保证。
• 在合成数据和真实世界数据集（如Covertype、SUSY、Skin Segmentation）上的实验表明，所提算法实现低相对误差，并且随着公开数据规模增加，表现出良好的可扩展性。
• 与现有两轮LDP算法相比，所提方法在估计精度和样本效率方面表现更优，实验对比验证了其优越性。
• 利用公开数据可显著减少对私有数据的需求，使该方法在处理敏感数据的真实世界应用中更具实用性。