[论文解读] Bayesian Estimation of Differential Privacy

Santiago Zanella-Béguelin, Lukas Wutschitz+7 more|arXiv (Cornell University)|Jun 10, 2022

Privacy-Preserving Technologies in Data被引用 10

一句话总结

本文提出了一种新颖的贝叶斯方法，用于在机器学习中估计差分隐私（DP）预算，通过联合后验分布建模成员推理攻击中的假阳性和假阴性率，从而为ε推导出显著更紧的可信区间。与先前方法相比，该方法将所需样本量减少了最多40%，并通过自适应采样启发式方法实现每模型生成多个样本，将计算成本降低了两个数量级。

ABSTRACT

Algorithms such as Differentially Private SGD enable training machine learning models with formal privacy guarantees. However, there is a discrepancy between the protection that such algorithms guarantee in theory and the protection they afford in practice. An emerging strand of work empirically estimates the protection afforded by differentially private training as a confidence interval for the privacy budget $\varepsilon$ spent on training a model. Existing approaches derive confidence intervals for $\varepsilon$ from confidence intervals for the false positive and false negative rates of membership inference attacks. Unfortunately, obtaining narrow high-confidence intervals for $ε$ using this method requires an impractically large sample size and training as many models as samples. We propose a novel Bayesian method that greatly reduces sample size, and adapt and validate a heuristic to draw more than one sample per trained model. Our Bayesian method exploits the hypothesis testing interpretation of differential privacy to obtain a posterior for $\varepsilon$ (not just a confidence interval) from the joint posterior of the false positive and false negative rates of membership inference attacks. For the same sample size and confidence, we derive confidence intervals for $\varepsilon$ around 40% narrower than prior work. The heuristic, which we adapt from label-only DP, can be used to further reduce the number of trained models needed to get enough samples by up to 2 orders of magnitude.

研究动机与目标

• 解决理论DP保证与机器学习模型实际隐私保护之间的差距。
• 克服现有方法依赖于假阳性率和假阴性率的独立Clopper-Pearson置信区间的局限性，这些方法需要大量样本且产生宽泛的区间。
• 通过自适应启发式方法每模型生成多个样本，降低经验DP估计的计算成本，减少所需独立训练模型的数量。
• 为现实世界机器学习流水线提供更准确、更可靠的隐私预算（ε）估计。
• 验证所适配启发式方法在不同模型类型和隐私场景下的保真度，包括非DP模型。

提出的方法

• 使用贝叶斯推断对成员推理攻击中假阳性率和假阴性率的联合后验分布进行建模。
• 利用差分隐私的假设检验解释，从攻击率的联合后验分布推导出隐私预算ε的后验分布。
• 基于推导出的后验分布对ε应用可信区间，实现比频率学派置信区间更紧的不确定性量化。
• 适配并验证来自仅标签DP的启发式方法，允许每模型生成m > 1个成员查询，从而减少所需独立训练模型的数量。
• 采用与模型相关的损失阈值进行成员推理攻击，以平衡准确率与计算成本。
• 通过比较不同m值（如m = 1, 10, 100, 1000）下ε估计的累积分布函数（CDFs），验证启发式方法的性能，基准为m = 1。

实验结果

研究问题

• RQ1 是否能够通过建模假阳性率和假阴性率的联合分布，使贝叶斯方法在ε上产生比独立置信区间更紧的可信区间？
• RQ2 一种每模型生成多个样本的启发式方法，在经验DP估计中，能在多大程度上减少所需独立训练模型的数量？
• RQ3 当该启发式方法应用于DP训练模型与非DP模型时，所得ε估计的保真度如何？
• RQ4 在先前方法产生的区间同时包含0和理论上限的场景下，该贝叶斯方法是否仍能产生有意义的估计？
• RQ5 该启发式方法在不同模型架构和隐私预算下的性能表现如何？

主要发现

• 所提出的贝叶斯方法在相同样本量下，使ε的可信区间比基于Clopper-Pearson置信区间的估计窄最多40%。
• 在相同样本量和置信水平下，贝叶斯方法能实现对ε更精确的估计，从而在更少资源下得出更强的隐私结论。
• 所适配的启发式方法将所需独立训练模型的数量减少了两个数量级，显著降低了计算成本。
• 对于DP训练的模型，该启发式方法能产生保真度高的估计，其中m = 10在DP模型（如SST2，ε = 4）上的估计最接近m = 1的基准。
• 对于非DP模型，该启发式方法相比m = 1基准导致对经验DP边界的显著低估，表明在缺乏DP的情况下其可靠性较低。
• 在先前方法产生的区间同时包含0和理论上限的场景下（如表4所示），该贝叶斯方法仍能产生有意义的估计。