[论文解读] Edgeworth Accountant: An Analytical Approach to Differential Privacy Composition

Hua Wang, Sheng Gao+4 more|arXiv (Cornell University)|Jun 9, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

该论文提出了边沿会计（Edgeworth Accountant），一种基于 f-DP 框架下隐私损失对数似然比（PLLR）的埃德蒙德展开的分析方法，用于组合差分隐私（DP）保证。该方法在大规模深度学习和联邦分析中的差分隐私组合中，以较低的计算成本实现了非渐近、紧致的 $(\varepsilon,\delta)$-DP 边界，其精度和效率优于现有的方法，如矩量会计（moments accountant）和基于 FFT 的方法。

ABSTRACT

In privacy-preserving data analysis, many procedures and algorithms are structured as compositions of multiple private building blocks. As such, an important question is how to efficiently compute the overall privacy loss under composition. This paper introduces the Edgeworth Accountant, an analytical approach to composing differential privacy guarantees for private algorithms. Leveraging the $f$-differential privacy framework, the Edgeworth Accountant accurately tracks privacy loss under composition, enabling a closed-form expression of privacy guarantees through privacy-loss log-likelihood ratios (PLLRs). As implied by its name, this method applies the Edgeworth expansion to estimate and define the probability distribution of the sum of the PLLRs. Furthermore, by using a technique that simplifies complex distributions into simpler ones, we demonstrate the Edgeworth Accountant's applicability to any noise-addition mechanism. Its main advantage is providing $(ε, δ)$-differential privacy bounds that are non-asymptotic and do not significantly increase computational cost. This feature sets it apart from previous approaches, in which the running time increases with the number of mechanisms under composition. We conclude by showing how our Edgeworth Accountant offers accurate estimates and tight upper and lower bounds on $(ε, δ)$-differential privacy guarantees, especially tailored for training private models in deep learning and federated analytics.

研究动机与目标

• 为解决在大规模机器学习系统（如深度学习和联邦分析）中高效且准确地组合差分隐私保证的挑战。
• 开发一种有限样本、非渐近的方法，用于计算 $(\varepsilon,\delta)$-DP 边界，避免基于 FFT 方法带来的计算负担。
• 通过使用高阶近似，改进矩量会计和 R{\'e}nyi DP 方法，提供更紧致、解析推导的边界。
• 在差分隐私背景下，为边沿近似建立严格的有限样本误差边界，这是统计学与隐私研究领域的一项新贡献。
• 通过提供两种变体——近似边沿会计（AEA）和精确边沿会计区间（EEAI）——实现 DP 在实际应用中的可部署性。

提出的方法

• 该方法采用 $f$-差分隐私（f-DP）框架，通过隐私损失对数似然比（PLLR）追踪隐私损失，实现无损的组合追踪。
• 它对 PLLR 之和的分布应用边沿展开，利用高阶累积量校正来改进中心极限定理。
• 该方法利用类似 Berry–Esseen 的边界来推导边沿近似在隐私保证上的非渐近误差边界。
• 边沿会计以两种形式实现：用于快速估计的近似边沿会计（AEA），以及用于严格有限样本边界的精确边沿会计区间（EEAI）。
• 对于加噪机制，该方法利用有界 PLLR 的次高斯性质，推导出尾部边界，例如拉普拉斯机制中的情形。
• 通过数值实验验证了该方法，将 AEA 和 EEAI 与基于 FFT、RDP 和 GDP 的会计方法在多个设置下进行比较，包括联邦学习。

实验结果

研究问题

• RQ1 边沿展开能否用于推导组合私有算法的非渐近、有限样本 $(\varepsilon,\delta)$-DP 边界？
• RQ2 在高组合场景下，边沿会计的准确性与现有方法（如矩量会计（RDP）和基于 FFT 的会计）相比如何？
• RQ3 随着组合次数的增加，边沿会计相对于基于 FFT 的方法在计算效率上表现如何？
• RQ4 在联邦学习等实际场景中，边沿近似能否提供比高斯近似（CLT）更紧致的隐私边界？
• RQ5 在差分隐私背景下，边沿近似的显式有限样本误差边界是什么？它们是如何推导的？

主要发现

• 近似边沿会计（AEA）在多个设置下估计隐私参数时，精度高于矩量会计（RDP）和基于 CLT 的高斯近似（GDP）。
• 边沿会计的计算成本保持较低，且不随组合次数增加而增长，而基于 FFT 的方法运行时间显著增加。
• 精确边沿会计区间（EEAI）为 $(\varepsilon,\delta)$-DP 提供了严格、非渐近的上下界，其紧致性在联邦分析和深度学习训练中得到验证。
• 对于拉普拉斯机制，该方法推导出具有反指数衰减的尾部边界：$\max\left\{\mathbb{P}\left(\sum X_i^{(1)} \geq \varepsilon\right), \mathbb{P}\left(\sum X_i^{(2)} \geq \varepsilon\right)\right\} \leq \exp\left(-\frac{2(\varepsilon + m\eta)^2}{m\tau^2}\right)$，其中 $\eta > 0$ 且 $\tau^2$ 是机制参数的函数。
• 在使用 NoisySGD 和不同采样率的实验中，EEAI 始终比 RDP 和 FFT 方法更紧密地界定了真实隐私损失，即使 $\delta$ 设为 0.1 也是如此。
• 该论文首次建立了差分隐私背景下边沿近似的已知有限样本误差边界，这一结果在统计学上具有独立意义。