[论文解读] Gaussian Differential Privacy

Jinshuo Dong, Aaron Roth+1 more|arXiv (Cornell University)|May 7, 2019

Privacy-Preserving Technologies in Data参考文献 40被引用 102

一句话总结

简要回答：介绍 f-differential privacy（f-DP）作为基于假设检验的 DP 放宽，以高斯差分隐私（GDP）作为规范的单参数族，并发展组合定理、子采样放大以及在 SGD 中的应用。

ABSTRACT

Differential privacy has seen remarkable success as a rigorous and practical formalization of data privacy in the past decade. This privacy definition and its divergence based relaxations, however, have several acknowledged weaknesses, either in handling composition of private algorithms or in analyzing important primitives like privacy amplification by subsampling. Inspired by the hypothesis testing formulation of privacy, this paper proposes a new relaxation, which we term `$f$-differential privacy' ($f$-DP). This notion of privacy has a number of appealing properties and, in particular, avoids difficulties associated with divergence based relaxations. First, $f$-DP preserves the hypothesis testing interpretation. In addition, $f$-DP allows for lossless reasoning about composition in an algebraic fashion. Moreover, we provide a powerful technique to import existing results proven for original DP to $f$-DP and, as an application, obtain a simple subsampling theorem for $f$-DP. In addition to the above findings, we introduce a canonical single-parameter family of privacy notions within the $f$-DP class that is referred to as `Gaussian differential privacy' (GDP), defined based on testing two shifted Gaussians. GDP is focal among the $f$-DP class because of a central limit theorem we prove. More precisely, the privacy guarantees of \emph{any} hypothesis testing based definition of privacy (including original DP) converges to GDP in the limit under composition. The CLT also yields a computationally inexpensive tool for analyzing the exact composition of private algorithms. Taken together, this collection of attractive properties render $f$-DP a mathematically coherent, analytically tractable, and versatile framework for private data analysis. Finally, we demonstrate the use of the tools we develop by giving an improved privacy analysis of noisy stochastic gradient descent.

研究动机与目标

• 动机：需要一种基于假设检验的隐私放宽，以应对经典 DP 在组合与放大方面的局限性。
• 用交易函数来定义 f-Differential Privacy（f-DP），在数据集邻接性下捕捉最优的 I 型/II 型错误权衡。
• 将高斯差分隐私（GDP）引入作为 f-DP 内的规范单参数实现。
• 发展组合定理和一个中心极限定理风格的结果，表明在组合下收敛到 GDP。
• 通过改进对随机梯度下降（SGD）的隐私分析并将 f-DP 与现有 DP 框架相关联，展示其实用性。

提出的方法

• 使用交易函数 T(P,Q) formalize f-DP，并定义对称交易函数。
• 通过在 N(0,1) 与 N(mu,1) 的高斯假设检验来刻画 G_mu，从而将 GDP 具体化。
• 证明 GDP 在后处理下保持不变，并提供一个原始-对偶视角，将 f-DP 与 (epsilon,delta)-DP 保证联系起来。
• 证明一个组合定理以及用于近似累计隐私损失的 Berry-Esseen 型 CLT。
• 将高斯机制确认为 mu-GDP，并推导高斯噪声加入的精确 GDP 边界。
• 将该框架应用于分析带噪声的随机梯度下降（SGD）的隐私，并与先前的 DP 分析进行比较。

实验结果

研究问题

• RQ1 如何将差分隐私表述为一个函数型交易问题，以更好地处理组合和子采样？
• RQ2 在 f-DP 中有哪些与假设检验解释相一致的规范单参数隐私概念？
• RQ3 GDP 如何与高斯机制相关，以及我们是否可以通过中心极限定理来刻画组合极限？
• RQ4 f-DP 是否可以转换为传统的（epsilon，delta）-DP 保证，以利用现有结果？
• RQ5 GDP 如何相较于现有 DP 方法为 SGD 提供更精准的隐私分析？

主要发现

• f-DP 提供一个紧凑且便于组合的隐私框架，基于交易函数。
• GDP 精确刻画高斯机制，并在组合极限下作为规范的隐私保证。
• GDP 通过一个用于基于假设检验的隐私概念的中心极限定理，收敛到隐私损失的近似值。
• 存在 f-DP 与（epsilon, delta）-DP 保证族之间的原始-对偶对应关系，便于结果迁移。
• 后处理不降低 f-DP 的保证，且 Blackwell 型结果表明在某些隐私概念中 f-DP 是信息量最大的。
• 该框架通过基于 GDP 的组合近似，提供比以往基于发散的方法更精确的 SGD 隐私分析。