[论文解读] Bayesian Differential Privacy for Machine Learning

Aleksei Triastcyn, Boi Faltings|arXiv (Cornell University)|Jan 28, 2019

Privacy-Preserving Technologies in Data参考文献 30被引用 9

一句话总结

本文提出了贝叶斯微分隐私（BDP），一种数据分布感知的微分隐私变体，通过建模数据似然性来减少噪声，从而获得更紧致的隐私保证和更高的模型准确率。实验表明，BDP在MNIST上将ε从2.2降低至0.95，在CIFAR-10上从8.0降低至0.76，实现了最先进的隐私边界，同时保持了高分类准确率和更快的收敛速度。

ABSTRACT

Traditional differential privacy is independent of the data distribution. However, this is not well-matched with the modern machine learning context, where models are trained on specific data. As a result, achieving meaningful privacy guarantees in ML often excessively reduces accuracy. We propose Bayesian differential privacy (BDP), which takes into account the data distribution to provide more practical privacy guarantees. We also derive a general privacy accounting method under BDP, building upon the well-known moments accountant. Our experiments demonstrate that in-distribution samples in classic machine learning datasets, such as MNIST and CIFAR-10, enjoy significantly stronger privacy guarantees than postulated by DP, while models maintain high classification accuracy.

研究动机与目标

• 为解决传统微分隐私（DP）在实际应用中的局限性，其因最坏情况假设而引入过多噪声，尤其在真实世界机器学习场景中表现不佳。
• 开发一种反映典型数据分布的隐私框架，使隐私保证对常见数据点更具意义和可解释性。
• 设计一种隐私会计方法，可推广传统矩会计（moments accountant）并提供更紧致、与数据分布相关的隐私边界。
• 在保持对分布内数据强隐私保护的同时，增强对分布外样本的鲁棒性。
• 通过实证验证，BDP可在显著降低隐私损失参数（ε）的前提下，实现比标准DP更高的模型准确率和更快的训练速度。

提出的方法

• 提出贝叶斯微分隐私（BDP）作为(ε,δ)-DP的改进，其隐私保证基于数据生成分布μ(x)，而非对所有输入一视同仁。
• 提出一种基于隐私损失随机变量（PLRV）的隐私会计框架，利用概率论推导的浓度不等式，估算典型数据点的(εμ, δμ)。
• 采用贝叶斯参数估计方法，结合非信息先验和平稳熵原则，从有限数据样本中估计隐私损失统计量，以最小化对未见样本风险的低估。
• 推导出适用于BDP的高级组合定理，推广矩会计（MA），从而在梯度裁剪与高斯噪声的随机梯度下降（SGD）中实现高效且紧致的隐私会计。
• 将BDP应用于DP-SGD，通过将梯度裁剪至范数C并添加方差为C²σ²的噪声，但基于数据分布校准噪声，以减少总体噪声。
• 通过分析训练集与测试集之间梯度成对距离的统计特性，验证方法有效性，结果表明隐私成本估计器未造成显著信息泄露（无显著统计差异）。

实验结果

研究问题

• RQ1 能否通过引入数据分布信息，使微分隐私在机器学习中更具实用性？
• RQ2 建模数据似然性是否能在不牺牲模型效用的前提下，实现更紧致、更具可解释性的隐私保证？
• RQ3 能否设计一种可推广矩会计且具备数据分布感知能力的隐私会计方法？
• RQ4 与标准DP相比，BDP在多大程度上减少了所需噪声？这对模型准确率和收敛速度有何影响？
• RQ5 BDP中的隐私成本估计器是否具有信息泄露风险，即是否可能泄露训练数据的信息？

主要发现

• 在MNIST数据集上，BDP将隐私损失参数ε从标准DP的2.2降低至0.95，显著改善了隐私-效用权衡。
• 在CIFAR-10数据集上，BDP将ε从8.0降低至0.76，展示了在复杂数据集上实现更强隐私保证的显著优势。
• BDP模型在仅50个周期内即可达到96%的MNIST测试准确率，而标准DP-SGD因噪声水平过高，需数百个周期才能收敛。
• BDP中的隐私成本估计器未对训练数据泄露显著信息，经t检验与Levene检验验证梯度成对距离无显著差异（p > 0.05）。
• 对于99.999%的分布内数据点，BDP提供的隐私保证强于标准DP，ε始终低于1。
• BDP在深度学习中实现了最先进的隐私边界，结合了更紧致的隐私保护、更高的模型准确率与更快的收敛速度。