[论文解读] Optimal Private Halfspace Counting via Discrepancy

S. Muthukrishnan, Aleksandar Nikolov|arXiv (Cornell University)|Mar 24, 2012

Privacy-Preserving Technologies in Data参考文献 18被引用 12

一句话总结

本文提出了一种针对 $d$-维空间中半空间范围计数的 $(\varepsilon,\delta)$-差分隐私算法，平均平方误差为 $O(n^{1-1/d})$，实现了最优近似。该方法利用改进的不协调度量和组合不协调理论，建立了匹配的上下界，解决了常数维度下私有半空间计数的复杂度问题。

ABSTRACT

A range counting problem is specified by a set $P$ of size $|P| = n$ of points in $\mathbb{R}^d$, an integer weight $x_p$ associated to each point $p \in P$, and a range space ${\cal R} \subseteq 2^{P}$. Given a query range $R \in {\cal R}$, the target output is $R(\vec{x}) = \sum_{p \in R}{x_p}$. Range counting for different range spaces is a central problem in Computational Geometry. We study $(ε, δ)$-differentially private algorithms for range counting. Our main results are for the range space given by hyperplanes, that is, the halfspace counting problem. We present an $(ε, δ)$-differentially private algorithm for halfspace counting in $d$ dimensions which achieves $O(n^{1-1/d})$ average squared error. This contrasts with the $Ω(n)$ lower bound established by the classical result of Dinur and Nissim [PODS 2003] for arbitrary subset counting queries. We also show a matching lower bound on average squared error for any $(ε, δ)$-differentially private algorithm for halfspace counting. Both bounds are obtained using discrepancy theory. For the lower bound, we use a modified discrepancy measure and bound approximation of $(ε, δ)$-differentially private algorithms for range counting queries in terms of this discrepancy. We also relate the modified discrepancy measure to classical combinatorial discrepancy, which allows us to exploit known discrepancy lower bounds. This approach also yields a lower bound of $Ω((\log n)^{d-1})$ for $(ε, δ)$-differentially private orthogonal range counting in $d$ dimensions, the first known superconstant lower bound for this problem. For the upper bound, we use an approach inspired by partial coloring methods for proving discrepancy upper bounds, and obtain $(ε, δ)$-differentially private algorithms for range counting with polynomially bounded shatter function range spaces.

研究动机与目标

• 填补常数维度下 $(\varepsilon,\delta)$-差分隐私半空间范围计数近似复杂度理解上的空白。
• 为私有半空间计数建立平均平方误差的紧致上下界，克服了针对一般范围空间的先前 $\Omega(n)$ 下界。
• 开发一种基于不协调的新框架，捕捉半空间范围空间的几何结构，并实现最优噪声添加机制。
• 将分析扩展至正交范围计数，首次为该问题提供了超常数下界 $\Omega((\log n)^{d-1})$。
• 将该方法推广至多项式有界破碎函数的范围空间，得到具有次线性误差的私有算法。

提出的方法

• 作者引入一种专为 $(\varepsilon,\delta)$-差分隐私设计的改进不协调度量，将其与经典组合不协调理论关联，以推导下界。
• 受不协调理论启发，采用部分着色方法，设计一种递归的、差分隐私机制，通过有策略地添加噪声来保持准确性。
• 该机制通过递归划分点集并对子问题应用噪声来运行，误差通过递推关系进行界定。
• 利用方差分解和独立拉普拉斯随机变量和的尾部界限，分析平均平方误差。
• 通过利用生成路径分解和区间计数原语，将该方法扩展至正交范围计数。
• 对于具有多项式破碎函数的一般范围空间，通过将不协调界与 $\varepsilon$-近似和基于中位数的机制相联系，使该方法同样适用。

实验结果

研究问题

• RQ1 在 $d$ 维空间中，任何 $(\varepsilon,\delta)$-差分隐私半空间范围计数算法可实现的最优近似误差是多少？
• RQ2 对于结构化范围空间（如半空间）是否可以规避经典的一般谓词计数 $\Omega(n)$ 下界？
• RQ3 在 $d$ 维空间中，$(\varepsilon,\delta)$-差分隐私正交范围计数的最优误差是多少？
• RQ4 如何将不协调理论适配以分析几何范围计数中的隐私-精度权衡？
• RQ5 该框架能否推广至具有多项式破碎函数的其他范围空间？

主要发现

• 本文为 $d$ 维空间中 $(\varepsilon,\delta)$-差分隐私半空间计数建立了紧致的上界 $O(n^{1-1/d})$ 平均平方误差。
• 证明了任何 $(\varepsilon,\delta)$-差分隐私算法均存在匹配的下界 $\Omega(n^{1-1/d})$，表明该结果为最优。
• 首次为 $d$ 维空间中 $(\varepsilon,\delta)$-差分隐私正交范围计数建立了超常数下界 $\Omega((\log n)^{d-1})$。
• 该方法可推广至任意破碎函数有界于 $O(s^d)$ 的范围空间，实现 $O(n^{1-1/d})$ 平均平方误差。
• 该方法可推广至大规模数据集场景，并为具有多项式破碎函数的范围系统提供次线性误差界。
• 该框架以新颖方式将不协调理论与差分隐私相连接，实现了在隐私约束下对几何范围计数的紧致分析。