[论文解读] Concentrated Differential Privacy: Simplifications, Extensions, and Lower Bounds

Mark Bun, Thomas Steinke|arXiv (Cornell University)|May 6, 2016

Privacy-Preserving Technologies in Data参考文献 8被引用 65

一句话总结

本文引入了零集中微分隐私（zCDP），通过使用Rényi散度对集中微分隐私进行重新表述，以更准确地捕捉次高斯隐私损失。该方法提供了更紧致的组合界，统一了近似微分隐私，并建立了改进的隐私损失下界及隐私保护计算机制。

ABSTRACT

"Concentrated differential privacy" was recently introduced by Dwork and Rothblum as a relaxation of differential privacy, which permits sharper analyses of many privacy-preserving computations. We present an alternative formulation of the concept of concentrated differential privacy in terms of the Renyi divergence between the distributions obtained by running an algorithm on neighboring inputs. With this reformulation in hand, we prove sharper quantitative results, establish lower bounds, and raise a few new questions. We also unify this approach with approximate differential privacy by giving an appropriate definition of "approximate concentrated differential privacy."

研究动机与目标

• 解决近似微分隐私在组合分析中的局限性，特别是高级组合定理中繁琐且不紧致的界。
• 利用Rényi散度对集中微分隐私进行更清晰、更易于分析的形式化表述。
• 统一zCDP与近似微分隐私，以支持在不同隐私保证下对机制进行组合。
• 建立zCDP下隐私损失的更紧致下界，并推导适用于实际应用的改进机制。
• 实现对隐私保护算法更精确的定量分析，尤其针对高斯机制和重复查询工作负载。

提出的方法

• 通过在相邻数据集上的输出分布之间使用Rényi散度，对集中微分隐私进行重新表述，定义零集中微分隐私（zCDP）。
• 证明zCDP蕴含微分隐私，并给出隐私参数的显式界，从而实现更紧致的组合分析。
• 推导zCDP下的高斯机制，表明其在噪声添加中实现了最优的隐私-效用权衡。
• 建立zCDP的组合与后处理性质，表明其在顺序计算下具有平滑的退化特性。
• 引入近似zCDP作为统一框架，广义化了纯微分隐私与近似微分隐私。
• 利用集中不等式与尾部界推导显式隐私损失界，尤其利用了隐私损失的次高斯性。

实验结果

研究问题

• RQ1 能否通过Rényi散度对集中微分隐私进行重新表述，以获得更紧致且更易于分析的隐私保证？
• RQ2 zCDP在组合与效用方面与纯微分隐私和近似微分隐私相比，其量化表现如何？
• RQ3 zCDP下隐私损失的最紧可能下界是什么？它们对机制设计有何约束？
• RQ4 zCDP能否扩展为包含近似微分隐私的统一框架？
• RQ5 zCDP在高斯机制与重复查询工作负载分析中带来了哪些改进？

主要发现

• 零集中微分隐私（zCDP）通过Rényi散度明确定义，为均值集中微分隐私提供了一种更清晰、更具分析能力的替代方案。
• 在zCDP下的高斯机制实现了最优的隐私-效用权衡，其隐私损失具有紧致界，优于高级组合定理。
• zCDP实现了更紧致的组合界：对于k个具有zCDP参数ρ的机制，其组合满足(ε, δ)-DP，且δ随exp(−(ε−ρ)²/(4ρ))衰减，其中ε ≥ ρ。
• 本文推导出一个统一的组合定理，涵盖纯微分隐私与近似微分隐私，支持zCDP与(ε,δ)-DP机制的混合组合。
• 建立了新的隐私损失下界，表明zCDP在组合效率方面无法被显著改进。
• 结果通过在隐私参数中节省常数因子，并减少δ中对数项的依赖，改进了高级组合定理。