[论文解读] Concentrated Differential Privacy

Cynthia Dwork, Guy N. Rothblum|arXiv (Cornell University)|Mar 6, 2016

Privacy-Preserving Technologies in Data参考文献 3被引用 290

一句话总结

引入 Concentrated Differential Privacy (CDP)，一种对差分隐私的放宽，其中隐私损失在其均值附近高度集中，在组合下实现更好的准确性，同时保持累积隐私损失保证。

ABSTRACT

We introduce Concentrated Differential Privacy, a relaxation of Differential Privacy enjoying better accuracy than both pure differential privacy and its popular "(epsilon,delta)" relaxation without compromising on cumulative privacy loss over multiple computations.

研究动机与目标

• 阐明相比纯DP和（ε,δ）-DP，更紧密组合保证的隐私概念的需求。
• 定义 Concentrated Differential Privacy 及其次高斯损失框架。
• 证明 CDP 的组合具有有利的准确性-隐私权衡。
• 在 CDP 下表征高斯机制并推导群隐私界限。
• 将 CDP 相对于现有的 DP 放宽进行定位并讨论实际意义。

提出的方法

• 将隐私损失定义为一个随机变量，并要求其中心化版本为子高斯分布（subgaussian）。
• 引入（μ,τ）-CDP，其中损失的均值为 μ，中心化损失为 τ-子高斯。
• 证明一个明确的组合定理：CDP 机制组合为 (∑μi, √(∑τi^2))，具有子高斯不可区分性。
• 重新考察高斯机制，证明其为 (τ^2/2, τ)-CDP，τ = Δ(f)/σ。
• 推导在 CDP 下的群隐私界限，并显示高斯机制的紧性。
• 讨论与 ε-DP、(ε,δ)-DP 的联系，并探讨 Propose-Test-Release 风格的算法。

实验结果

研究问题

• RQ1 在对同一数据集执行多次分析时，CDP 提供了哪些正式保证？
• RQ2 （μ,τ）-CDP 框架如何转化为在组合下的具体隐私损失界限？
• RQ3 在 CDP 下，高斯机制的确切隐私损失特征是什么？
• RQ4 与传统 DP 概念相比，CDP 如何影响群体隐私界限？
• RQ5 在什么情景下，CDP 相对于 (ε,δ)-DP 能实现更优的准确性-隐私权衡？

主要发现

• CDP 将隐私损失形式化为具有均值 μ 的随机变量，以及具有参数 τ 的中心化子高斯尾部。
• 在 k 次自适应组合下，一组（μi,τi）-CDP 机制将产生（∑μi, √(∑τi^2)）-CDP。
• 带噪声 σ 的高斯机制满足（τ^2/2, τ)-CDP，τ = Δ(f)/σ，提供对隐私损失的紧确表征。
• 对于计数查询，在相同隐私预算下，CDP 获得比传统 DP 更高的准确性。
• 在 CDP 下，高斯机制的群体隐私界限随群大小 s 的变化为 ((sΔf/σ)^2/2, sΔf)。
• 该工作在组合下将 (ε,0)-DP 机制的期望隐私损失的已知界限提高了两倍，从而带来更紧的效用/隐私权衡。
• 集中隐私兼容强组合结果，同时在大量分析场景下提供更好的准确性。