[论文解读] Empirical Risk Minimization in the Non-interactive Local Model of Differential Privacy

Di Wang, Marco Gaboardi+2 more|arXiv (Cornell University)|Nov 11, 2020

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种高效的非交互式局部差分隐私算法，用于高维设置下的经验风险最小化（ERM）。通过利用伯恩斯坦多项式逼近平滑损失函数，以及内积多项式逼近广义线性模型，作者实现了在误差参数 α 上为多项式、在维度 p 上为线性的样本复杂度，克服了先前在 p 上的指数依赖。

ABSTRACT

In this paper, we study the Empirical Risk Minimization (ERM) problem in the non-interactive Local Differential Privacy (LDP) model. Previous research on this problem \citep{smith2017interaction} indicates that the sample complexity, to achieve error $α$, needs to be exponentially depending on the dimensionality $p$ for general loss functions. In this paper, we make two attempts to resolve this issue by investigating conditions on the loss functions that allow us to remove such a limit. In our first attempt, we show that if the loss function is $(\infty, T)$-smooth, by using the Bernstein polynomial approximation we can avoid the exponential dependency in the term of $α$. We then propose player-efficient algorithms with $1$-bit communication complexity and $O(1)$ computation cost for each player. The error bound of these algorithms is asymptotically the same as the original one. With some additional assumptions, we also give an algorithm which is more efficient for the server. In our second attempt, we show that for any $1$-Lipschitz generalized linear convex loss function, there is an $(ε, δ)$-LDP algorithm whose sample complexity for achieving error $α$ is only linear in the dimensionality $p$. Our results use a polynomial of inner product approximation technique. Finally, motivated by the idea of using polynomial approximation and based on different types of polynomial approximations, we propose (efficient) non-interactive locally differentially private algorithms for learning the set of k-way marginal queries and the set of smooth queries.

研究动机与目标

• 解决非交互式局部差分隐私（LDP）模型中先前 ERM 方法在维度 p 上存在的指数样本复杂度问题。
• 克服一般损失函数在达到误差 α 时样本复杂度在 p 上指数依赖的根本限制。
• 设计高效的协议，实现每个用户仅 1 位通信和 O(1) 计算，同时保持隐私和准确性。
• 将该方法扩展至在 LDP 下回答 k 元边际查询和光滑查询，使用多项式逼近技术。
• 为经验风险最小化和总体风险最小化提供样本复杂度和准确性的理论保证。

提出的方法

• 对 (∞,T)-平滑损失函数使用伯恩斯坦多项式逼近，将样本复杂度从 α 的指数形式降低为 α 的多项式形式。
• 对 1-Lipschitz 广义线性凸损失函数应用内积的多项式逼近，实现维度 p 上的线性依赖。
• 利用超立方体上 (h,T)-平滑函数的三角多项式逼近，处理光滑查询。
• 设计非交互式协议，每个用户仅发送 1 位信息，使用随机响应或类似机制。
• 使用矩估计和系数恢复技术，使服务器能够从噪声汇总中重建查询答案。
• 结合集中不等式和误差传播分析，确保以高概率实现 (α,β)-准确性。

实验结果

研究问题

• RQ1 在非交互式 LDP 下，是否可以消除 ERM 中维度 p 的指数依赖，针对某些类别的损失函数？
• RQ2 损失函数需满足何种条件，才能在保持隐私的前提下，实现误差参数 α 上的多项式样本复杂度？
• RQ3 能否为非交互式 LDP 下的用户和服务器设计出高效的 1 位通信、O(1) 计算协议？
• RQ4 多项式逼近框架能否扩展至其他查询类别，如 k 元边际查询和光滑查询？
• RQ5 在 LDP 下，广义线性模型的隐私参数 ε、δ 与样本复杂度之间存在何种权衡？

主要发现

• 对于 (∞,T)-平滑损失函数，实现 α 误差的样本复杂度从 α^{-(p+1)} 降低至 α^{-c}（c 为某常数），消除了对 p 的指数依赖。
• 在伯恩斯坦多项式逼近框架下，所提算法在样本复杂度 n = O(ε^{-2} log(1/β) α^{-c}) 下实现 (α,β)-准确性（c 为某常数）。
• 对于 1-Lipschitz 广义线性凸损失函数，样本复杂度在 p 上为线性，仅在 ε 和 δ 上为指数形式，而非在 p 上。
• 设计了一种高效协议，实现每个用户仅 1 位通信和 O(1) 计算，同时保持隐私和准确性。
• 对于 C^h_T 中的光滑查询，样本复杂度为 O(ε^{-2} α^{-(5p+2h)/h} polylog(1/β))，查询回答时间 Õ((√n ε)^{(4p+4)/(5p+2h) + ...})。
• 该框架可扩展至 k 元边际查询和光滑查询，首次在 α 和 p 上实现多项式样本复杂度的非交互式 LDP 算法。