[论文解读] Auditing Differentially Private Machine Learning: How Private is Private SGD?

Matthew Jagielski, Jonathan Ullman+1 more|arXiv (Cornell University)|Jun 13, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用 73

一句话总结

本论文通过新颖的数据污染攻击对 DP-SGD 的隐私性进行实证审计，推导出隐私参数 ε 的下界，该下界显著比以往的实际方法更紧，并接近理论的最坏情形界限。

ABSTRACT

We investigate whether Differentially Private SGD offers better privacy in practice than what is guaranteed by its state-of-the-art analysis. We do so via novel data poisoning attacks, which we show correspond to realistic privacy attacks. While previous work (Ma et al., arXiv 2019) proposed this connection between differential privacy and data poisoning as a defense against data poisoning, our use as a tool for understanding the privacy of a specific mechanism is new. More generally, our work takes a quantitative, empirical approach to understanding the privacy afforded by specific implementations of differentially private algorithms that we believe has the potential to complement and influence analytical work on differential privacy.

研究动机与目标

• 动机：缩小最坏情形下的 DP 保证与 DP-SGD 的实际隐私之间的差距。
• 目标：开发基于数据污染的审计以获得 DP-SGD 的 ε 下界。
• 目的：评估 DP-SGD 在实际中的隐私性，并探索经验审计在差分隐私中的作用。
• 范围：在 TensorFlow Privacy 实现上，使用标准数据集和超参数进行评估。

提出的方法

• 定义基于污染的审计，比较 A(D0) 与 A(D1) 的分布，以通过 ε_LB = ln(p0/p1)/k 来界定 ε。
• 开发基于 Clopper–Pearson 的置信区间，为 ε_LB 提供概率保证。
• 设计新颖的对裁剪敏感的污染攻击（ClipBKD），在方差最小的方向上尽量降低梯度方差以在梯度裁剪下生存。
• 在多个数据集上，将针对 DP-SGD 的攻击与常规成员资格推断攻击进行比较。
• 在 DP-SGD 下使用两个数据集（FMNIST、CIFAR10、Purchase-100）和两种模型类型（逻辑回归和两层神经网络）。
• 在 TensorFlow Privacy 的 DP-SGD 实现上实例化该方法并报告经验 ε_LB 值。

实验结果

研究问题

• RQ1 DP-SGD 在实践中得到的 ε 值与其理论最坏情形界限相差有多近？
• RQ2 基于数据污染的审计是否能给出比现有隐私攻击（如成员身份推断）更紧的 ε 下界？
• RQ3 在 DP-SGD 中的裁剪是否使污染攻击更具鲁棒性，以及攻击如何利用最小方差方向？
• RQ4 数据集、模型类型和 DP-SGD 的超参数在实践中如何影响测得的 ε_LB？
• RQ5 实证审计能为补充理论 DP 分析提供哪些见解？

主要发现

• ClipBKD 和对裁剪敏感的污染攻击在跨数据集和模型中显著优于成员身份推断攻击，产生 ε_LB。
• ClipBKD 产生的 ε_LB 值比 MI 高 2.5x–1500x，并且接近理论上限 ε_th（例如，当 ε_th = 4 时，Purchase-100 的两层网络上 ε_LB = 0.46）。
• 标准后门攻击在 CIFAR10 上常常无法产生正的 ε_LB，这归因于数据集/模型因素，而 ClipBKD 始终优于标准后门。
• 敏感性分析表明，ε_LB 随着更高的 ε_th（更小噪声）而增加，并且受初始化随机性和裁剪范数的影响很大；固定初始化往往产生更高的 ε_LB。
• 在 FMNIST、CIFAR10 和 P100 上， ClipBKD 测得的 DP-SGD 隐私性显著低于最坏-case 理论界限，表明现实隐私可能弱于正式保障所暗示，但仍远非微不足道。
• 训练精度在所有实验中仍然很高（96–98%），说明在不牺牲效用的前提下即可量化隐私泄露。