[论文解读] Computing Tight Differential Privacy Guarantees Using FFT

Antti Koskela, Joonas Jälkö+1 more|arXiv (Cornell University)|Jun 7, 2019

Privacy-Preserving Technologies in Data参考文献 22被引用 11

一句话总结

本论文提出了一种基于快速傅里叶变换（FFT）的数值会计方法，用于高效计算连续一维机制的紧致$(\varepsilon,\delta)$-差分隐私保证。该方法通过FFT高效计算基于积分的隐私损失分布（PLD），相比先前方法在隐私界限紧致性和计算速度方面均有显著提升，尤其适用于DP随机梯度下降中的子采样高斯机制。

ABSTRACT

Differentially private (DP) machine learning has recently become popular. The privacy loss of DP algorithms is commonly reported using $(\varepsilon,δ)$-DP. In this paper, we propose a numerical accountant for evaluating the privacy loss for algorithms with continuous one dimensional output. This accountant can be applied to the subsampled multidimensional Gaussian mechanism which underlies the popular DP stochastic gradient descent. The proposed method is based on a numerical approximation of an integral formula which gives the exact $(\varepsilon,δ)$-values. The approximation is carried out by discretising the integral and by evaluating discrete convolutions using the fast Fourier transform algorithm. We give both theoretical error bounds and numerical error estimates for the approximation. Experimental comparisons with state-of-the-art techniques demonstrate significant improvements in bound tightness and/or computation time. Python code for the method can be found in Github (https://github.com/DPBayes/PLD-Accountant/).

研究动机与目标

• 开发一种数值上高效且精确的方法，用于计算具有连续一维输出机制的紧致$(\varepsilon,\delta)$-差分隐私保证。
• 通过利用FFT加速卷积计算，解决迭代DP算法中隐私会计的计算瓶颈，特别是DP随机梯度下降。
• 基于隐私损失分布（PLD）的统一框架，将隐私会计扩展至多种子采样方案——泊松、有放回和无放回子采样。
• 为基于积分公式的精确$(\varepsilon,\delta)$-值的FFT近似提供理论误差界和数值误差估计。

提出的方法

• 通过离散化积分公式计算隐私损失分布（PLD），将精确$(\varepsilon,\delta)$-值表示为PLD密度的函数。
• 利用快速傅里叶变换（FFT）计算多个机制组合所需的离散卷积，实现实时高效的数值评估。
• 在有限网格上对积分进行离散化，使用数值求积近似PLD密度，并基于底层函数的光滑性推导误差界。
• 将该方法应用于子采样的多维高斯机制，作为DP-SGD中的核心构建模块，采用泊松和确定性子采样方案。
• 基于隐私损失函数和PLD密度的导数推导理论误差界，确保近似误差可控。
• 代码以Python实现并开源，GitHub上可获取，便于复现并集成至DP机器学习流水线。

实验结果

研究问题

• RQ1 能否使用基于FFT的数值积分方法，高效且准确地计算连续机制的隐私损失分布（PLD）？
• RQ2 与现有方法（如矩量会计和Rényi差分隐私，RDP）相比，基于FFT的会计方法在准确性和速度方面表现如何？
• RQ3 该方法能否在不同子采样策略（包括泊松、有放回和无放回采样）下实现更紧致的$(\varepsilon,\delta)$-DP界限？
• RQ4 基于FFT的近似方法对精确隐私损失积分公式的理论与经验误差界是什么？

主要发现

• 基于FFT的会计方法在$(\varepsilon,\delta)$-DP界限上显著优于矩量会计和Rényi差分隐私（RDP）组合方法。
• 与最先进技术相比，该方法在计算时间上大幅减少，尤其在高维或重复组合场景下优势明显。
• 基于隐私损失函数和PLD密度光滑性的理论误差界已推导得出，数值误差估计证实了其高精度。
• 该方法在单一统一框架下支持多种子采样机制——泊松、有放回和无放回子采样。
• 实证结果表明，该方法在多种超参数设置下均实现了更紧致的隐私保证，尤其在低-$\delta$区域表现突出。
• GitHub上的开源实现支持实际部署，并可轻松集成至DP机器学习工作流（如DP-SGD）中。