[论文解读] Linear Queries Estimation with Local Differential Privacy

Raef Bassily|arXiv (Cornell University)|Oct 5, 2018

Privacy-Preserving Technologies in Data参考文献 18被引用 16

一句话总结

本文提出了用于在局部微差隐私（LDP）下估计线性查询的新算法，在高维设置中实现了最优的 L₂ 和 L∞ 估计误差界。通过结合 L₂ 投影到凸多面体与拒绝采样，所提方法在离线设置下确保误差与维度 d 无关，并在自适应查询中达到已知下界。

ABSTRACT

We study the problem of estimating a set of $d$ linear queries with respect to some unknown distribution $\mathbf{p}$ over a domain $\mathcal{J}=[J]$ based on a sensitive data set of $n$ individuals under the constraint of local differential privacy. This problem subsumes a wide range of estimation tasks, e.g., distribution estimation and $d$-dimensional mean estimation. We provide new algorithms for both the offline (non-adaptive) and adaptive versions of this problem. In the offline setting, the set of queries are fixed before the algorithm starts. In the regime where $n\lesssim d^2/\log(J)$, our algorithms attain $L_2$ estimation error that is independent of $d$, and is tight up to a factor of $ ilde{O}\left(\log^{1/4}(J) ight)$. For the special case of distribution estimation, we show that projecting the output estimate of an algorithm due to [Acharya et al. 2018] on the probability simplex yields an $L_2$ error that depends only sub-logarithmically on $J$ in the regime where $n\lesssim J^2/\log(J)$. These results show the possibility of accurate estimation of linear queries in the high-dimensional settings under the $L_2$ error criterion. In the adaptive setting, the queries are generated over $d$ rounds; one query at a time. In each round, a query can be chosen adaptively based on all the history of previous queries and answers. We give an algorithm for this problem with optimal $L_{\infty}$ estimation error (worst error in the estimated values for the queries w.r.t. the data distribution). Our bound matches a lower bound on the $L_{\infty}$ error for the offline version of this problem [Duchi et al. 2013].

研究动机与目标

• 解决在局部微差隐私（LDP）下进行准确线性查询估计的挑战，特别是在 d ≫ n 的高维情形中。
• 为 LDP 约束下的离线（非自适应）与自适应查询设置开发高效算法。
• 在有利条件下实现与维度 d 无关的紧致 L₂ 和 L∞ 估计误差界。
• 提供与已知下界匹配的理论保证，证明在自适应设置下的最优性。
• 涵盖并改进先前关于 LDP 下分布估计与均值估计的研究。

提出的方法

• 提出一种新型离线算法，结合对凸多面体的 L₂ 投影与拒绝采样，以确保隐私与准确性。
• 使用经过仔细校准的噪声的随机响应机制，以满足每个用户数据的局部微差隐私。
• 在自适应设置中，设计一种协议：通过均匀哈希将用户随机分配至轮次，确保每项查询均由一个全新的子样本回答。
• 应用集中不等式，以在用户被良好划分的条件下，界定各轮平均响应的 L∞ 估计误差。
• 利用切尔诺夫不等式证明：以高概率，每轮均拥有足够多的活跃用户（至少 n/(2d)），从而实现准确估计。
• 通过平均响应的次高斯尾部分析推导误差界，得出 L∞ 误差的最优缩放为 √(d log d / n)。

实验结果

研究问题

• RQ1 在高维设置下，LDP 下的线性查询估计能否实现与维度 d 无关的误差？
• RQ2 在自适应 LDP 设置下，线性查询的最优 L∞ 估计误差是多少？
• RQ3 如何结合 L₂ 投影与拒绝采样以提升离线 LDP 查询估计的准确性？
• RQ4 能否将现有 LDP 算法（如 ASZ18）的输出投影到单纯形上，以实现对域大小 J 的次对数误差依赖？
• RQ5 在基于 LDP 的线性查询估计中，隐私、准确性和维度之间的根本权衡是什么？

主要发现

• 在离线设置中，当 n ≲ d² / log J 时，L₂ 估计误差与 d 无关，最多受 Õ(log¹ᐟ⁴ J) 因子影响。
• 对于分布估计，将 ASZ18 的输出投影到单纯形上，可使 L₂ 误差仅以次对数方式依赖于 J，当 n ≲ J² / log J 时成立。
• 在自适应设置中，所提协议实现的 L∞ 估计误差为 O(c_ε r √(d log d / n))，与离线 LDP 的已知下界一致。
• 该算法确保以高概率（1 - o(1)），每轮至少有 n/(2d) 名活跃用户，从而支持基于集中性的误差界。
• 在 n ≥ 8d log n 的条件下，误差界主要由 √(d log d / n) 项主导，使二阶项可忽略不计。
• 分析证实，自适应协议在 L∞ 误差方面是最优的，与 DJW13b 对离线问题的下界一致。