[论文解读] Collect at Once, Use Effectively: Making Non-interactive Locally Private Learning Possible

Kai Zheng, Wenlong Mou+1 more|arXiv (Cornell University)|Jun 11, 2017

Privacy-Preserving Technologies in Data参考文献 20被引用 14

一句话总结

本文提出了首个针对非交互式局部差分隐私学习的高效算法，超越基础估计任务，利用切比雪夫展开近似光滑广义线性模型中的梯度，并采用随机投影实现高维稀疏恢复。该方法实现了准多项式样本复杂度的过剩风险，使得在强隐私约束下实现有效学习成为可能，且样本复杂度对维度呈对数依赖。

ABSTRACT

Non-interactive Local Differential Privacy (LDP) requires data analysts to collect data from users through noisy channel at once. In this paper, we extend the frontiers of Non-interactive LDP learning and estimation from several aspects. For learning with smooth generalized linear losses, we propose an approximate stochastic gradient oracle estimated from non-interactive LDP channel, using Chebyshev expansion. Combined with inexact gradient methods, we obtain an efficient algorithm with quasi-polynomial sample complexity bound. For the high-dimensional world, we discover that under $\ell_2$-norm assumption on data points, high-dimensional sparse linear regression and mean estimation can be achieved with logarithmic dependence on dimension, using random projection and approximate recovery. We also extend our methods to Kernel Ridge Regression. Our work is the first one that makes learning and estimation possible for a broad range of learning tasks under non-interactive LDP model.

研究动机与目标

• 为包括广义线性模型和高维稀疏回归在内的广泛机器学习任务，实现非交互式局部差分隐私学习。
• 克服在局部差分隐私下，仅通过纯噪声、非交互式数据收集获取准确估计的根本性挑战。
• 设计高效的机制，实现在非交互式局部差分隐私下高维稀疏估计对维度的对数依赖。
• 建立在非交互式局部差分隐私下，使用光滑广义线性损失进行学习的理论样本复杂度边界。
• 将非交互式局部差分隐私的适用性扩展至非参数模型，如核岭回归。

提出的方法

• 使用切比雪夫多项式展开，从非交互式局部差分隐私数据中构建近似随机梯度预言机。
• 应用非精确梯度下降方法，利用私有梯度预言机优化光滑广义线性损失。
• 采用随机投影降低维度，实现在局部差分隐私下对高维稀疏信号的高效恢复。
• 将私有切比雪夫逼近与现有非精确随机梯度方法（如SIGM算法）结合，确保收敛性。
• 通过分析切比雪夫逼近下的梯度估计误差与隐私约束，推导样本复杂度边界。
• 通过复用相同的私有梯度估计技术，将框架扩展至核岭回归。

实验结果

研究问题

• RQ1 尽管缺乏无偏梯度估计，是否可以使非交互式局部差分隐私学习在光滑广义线性模型中成为可行？
• RQ2 在非交互式局部差分隐私设置下，实现给定过剩风险的最优样本复杂度是多少？
• RQ3 在非交互式局部差分隐私下，是否可以实现高维稀疏线性回归，并使样本复杂度对维度 $ d $ 呈对数依赖？
• RQ4 如何在局部隐私约束下，通过切比雪夫逼近高效实现私有梯度估计？
• RQ5 是否可以将非交互式局部差分隐私学习扩展至非参数模型，如核岭回归？

主要发现

• 所提方法在光滑广义线性模型中实现过剩风险 $ \alpha $ 的样本复杂度边界为 $ O\big((8r/\alpha)^{4r\ln\ln(8r/\alpha)} (4r/\epsilon)^{2cr\ln(8r/\alpha)+2} (1/\alpha^2\epsilon^2) \big) $，为准多项式形式。
• 对于高维稀疏线性回归和均值估计，该方法实现了对维度 $ d $ 呈对数依赖的过剩风险，符合稀疏高维设置下的预期。
• 使用切比雪夫展开可实现对梯度的受控误差私有估计，构成适用于非精确梯度下降的 $ (\gamma, \beta, \sigma) $ 随机预言机。
• 该框架成功扩展至逻辑回归，作为光滑广义线性模型的典型示例，且保持相同的样本复杂度保证。
• 对于核岭回归，该方法提供了有效的私有估计并具备理论收敛边界，将非交互式局部差分隐私扩展至非参数学习。
• 该结果是首个已知适用于广泛学习任务（超越基础分布估计）的非交互式局部差分隐私学习方法。