[论文解读] Lower bounds in differential privacy

Anindya De|arXiv (Cornell University)|Jul 12, 2011

Privacy-Preserving Technologies in Data参考文献 8被引用 11

一句话总结

本文建立了差分隐私在私有数据查询中所需噪声失真度的紧致下界，统一并强化了先前的结果。它证明了 $(\varepsilon,0)$-差分隐私所需的噪声显著多于其松弛形式 $(\varepsilon,\delta)$-差分隐私，即使 $\delta$ 在数据库大小 $n$ 下可忽略不计，揭示了隐私概念之间的根本结构性差异，并表明当 $\ell$-路边际的噪声为 $o(\sqrt{n})$ 时，即使仅对常数比例的条目，也违反了属性隐私。

ABSTRACT

This is a paper about private data analysis, in which a trusted curator holding a confidential database responds to real vector-valued queries. A common approach to ensuring privacy for the database elements is to add appropriately generated random noise to the answers, releasing only these {\em noisy} responses. In this paper, we investigate various lower bounds on the noise required to maintain different kind of privacy guarantees.

研究动机与目标

• 统一并加强现有针对差分隐私查询发布机制中噪声失真度的下界。
• 正式区分 $(\varepsilon,0)$-差分隐私与其松弛形式 $(\varepsilon,\delta)$-差分隐私的隐私强度，即使 $\delta$ 在数据库大小 $n$ 下可忽略不计。
• 证明 $(\varepsilon,\delta)$-差分隐私在数据库与机制输出记录之间互信息方面，显著弱于 $(\varepsilon,0)$-差分隐私。
• 简化并使计数查询的噪声下界无条件化，此前这些下界依赖于技术假设。
• 将明显非隐私的下界扩展至数据宇宙大小 $d$ 小于数据库大小 $n$ 的情形，表明随着 $d$ 减小，该下界增大。

提出的方法

• 结合 Hardt 和 Talwar (2010) 与 McGregor 等人 (2010) 的技术，为一类低敏感度查询推导出失真度的线性下界。
• 利用 McGregor 等人 (2010) 提供的 $(\varepsilon,\delta)$-差分隐私的刻画，推导出 $\varepsilon,\delta > 0$ 时所需失真度的新下界。
• 应用线性规划译码及 Rudelson (2011) 关于 Rademacher 和反浓度的结果，证明当至少 $1-\eta$ 比例的条目上 $\ell$-路边际的噪声为 $o(\sqrt{n})$ 时（对某个 $\eta > 0$），属性隐私被违反。
• 利用切尔诺夫不等式和随机投影上的并集界，构造一个查询函数 $F$，使其在 $\|x - x'\|_1 \geq cn$ 时保持数据库间的距离。
• 通过概率方法固定随机投影向量 $r_1, \dots, r_k$，以确保当 $\|x - x'\|_1 \geq cn$ 时，存在某个 $i$ 使得 $F(x)_i - F(x')_i$ 较大，从而支持重建攻击。
• 构建一个重建算法 $B$，从噪声响应中恢复真实数据库，通过证明对任意与 $x$ 的 $\ell_1$ 距离较大的 $x'$，都有 $M(x,F)_i$ 远离 $F(x')_i$ 来证明其正确性。

实验结果

研究问题

• RQ1 即使 $\delta$ 在 $n$ 下可忽略不计，$(\varepsilon,0)$-差分隐私是否仍严格需要比 $(\varepsilon,\delta)$-差分隐私更多的噪声？
• RQ2 我们能否在计数查询与一般低敏感度查询之间，就差分隐私所需噪声量建立结构性分离？
• RQ3 在数据库与机制输出记录之间的互信息方面，$(\varepsilon,\delta)$-差分隐私是否显著弱于 $(\varepsilon,0)$-差分隐私？
• RQ4 当仅对常数比例的 $\ell$-路边际使用 $o(\sqrt{n})$ 噪声时，属性隐私是否仍可能被违反，而非所有条目都如此？
• RQ5 数据宇宙大小 $d$ 如何影响防止明显非隐私所需的噪声下界？

主要发现

• 本文证明了即使 $\delta \in 2^{-o(n)}$，$(\varepsilon,0)$-差分隐私所需噪声仍严格多于 $(\varepsilon,\delta)$-差分隐私，建立了两种隐私模型之间的根本结构性分离。
• 即使 $\delta$ 极小，$(\varepsilon,\delta)$-差分隐私在数据库与机制输出记录之间的互信息方面，也远弱于 $(\varepsilon,0)$-差分隐私。
• 计数查询的噪声下界被简化并实现无条件化，消除了 Hardt 和 Talwar (2010) 早期工作中存在的技术假设。
• 本文表明，若至少 $1-\eta$ 比例的 $\ell$-路边际以 $o(\sqrt{n})$ 噪声发布（对某个 $\eta > 0$），则属性隐私被违反，优于此前要求所有条目均满足 $o(\sqrt{n})$ 噪声的结果。
• 当数据宇宙大小 $d < n$ 时，防止明显非隐私所需的噪声下界增大，表明更小的宇宙需要更大的失真以保障隐私。
• 在 $d < n$ 的情形下，为明显非隐私建立了一个新的下界，表明所需噪声随 $d$ 减小而增长，强化了 Dinur 和 Nissim (2003) 的原始边界。