[论文解读] Generalization Techniques Empirically Outperform Differential Privacy against Membership Inference

Jiaxiang Liu, Simon Oya+1 more|arXiv (Cornell University)|Oct 11, 2021

Privacy-Preserving Technologies in Data参考文献 20被引用 4

一句话总结

本文挑战了微分隐私（DP）是抵御成员推理攻击（MIAs）最有效防御手段的假设，表明诸如锐度感知最小化（SAM）和早停等泛化技术在隐私和效用方面均优于DP-SGD。令人惊讶的是，即使在零噪声的DP-SGD下，其表现也劣于非私有的泛化方法，后者通过减少过拟合，实现了更高的准确率和更强的MIAs防护能力。

ABSTRACT

Differentially private training algorithms provide protection against one of the most popular attacks in machine learning: the membership inference attack. However, these privacy algorithms incur a loss of the model's classification accuracy, therefore creating a privacy-utility trade-off. The amount of noise that differential privacy requires to provide strong theoretical protection guarantees in deep learning typically renders the models unusable, but authors have observed that even lower noise levels provide acceptable empirical protection against existing membership inference attacks. In this work, we look for alternatives to differential privacy towards empirically protecting against membership inference attacks. We study the protection that simply following good machine learning practices (not designed with privacy in mind) offers against membership inference. We evaluate the performance of state-of-the-art techniques, such as pre-training and sharpness-aware minimization, alone and with differentially private training algorithms, and find that, when using early stopping, the algorithms without differential privacy can provide both higher utility and higher privacy than their differentially private counterparts. These findings challenge the belief that differential privacy is a good defense to protect against existing membership inference attacks

研究动机与目标

• 评估旨在提升模型准确率而非隐私的泛化技术是否在实证上能够有效抵御成员推理攻击（MIAs）。
• 比较DP-SGD与非私有泛化方法（如SAM、预训练和早停）在隐私-效用权衡上的表现。
• 探究将DP噪声与SAM等先进优化技术结合是否能在不牺牲效用的前提下提升隐私保护。
• 挑战当前普遍认为DP是MIAs最优防御手段的观念，尤其是考虑到其高昂的效用代价。

提出的方法

• 作者在CIFAR-10和CIFAR-100数据集上评估了最先进的泛化技术——SAM、ImageNet上的预训练以及早停。
• 他们将这些方法与不同噪声水平（σ）、裁剪阈值（C）和学习率（λ）的DP-SGD进行比较，使用Opacus隐私引擎进行DP训练。
• 模型在有无DP噪声的情况下进行训练，性能通过分类准确率和成员推理攻击成功率进行衡量。
• 采用两种标准的MIAs：阈值攻击（Yeom et al., 2018）和基于神经网络的攻击（Salem et al., 2018），结果在每个训练周期均被记录。
• 研究还包括对DP-SAM（SAM与DP-SGD的混合）的消融实验，以评估结合两种方法是否能改善隐私-效用权衡。
• 所有实验均采用早停策略，隐私-效用性能在多个训练周期内评估，以分析其动态行为。

实验结果

研究问题

• RQ1 使用SAM和早停等泛化技术进行训练，是否能为成员推理攻击提供比DP-SGD更好的实证防护？
• RQ2 当DP-SGD的噪声水平降低至零时，其隐私-效用权衡如何？与非私有的泛化方法相比表现如何？
• RQ3 将SAM与DP-SGD结合（即DP-SAM）是否能在不降低效用的前提下提升隐私保护，相比标准DP-SGD？
• RQ4 在ImageNet上进行预训练及其他标准机器学习实践如何影响模型对成员推理攻击的抵抗能力？
• RQ5 是否存在特定训练阶段（如早停）使得非私有模型在准确率和隐私方面均优于DP正则化模型？

主要发现

• 零噪声DP-SGD在隐私和效用方面始终劣于非私有的泛化技术，表明DP噪声不仅无益，甚至可能损害性能。
• SAM在CIFAR-10和CIFAR-100上均优于DP-SGD，实现了更高的测试准确率和更低的成员推理攻击成功率。
• 不加任何噪声的早停策略，其隐私-效用权衡优于所有噪声水平下的DP-SGD，表明减少过拟合比注入噪声更有效。
• SAM与DP-SGD的结合（DP-SAM）并未在隐私方面优于非DP的SAM，且非私有版本在准确率和攻击抵抗能力上均更优。
• 在所有评估方法中，非私有的SAM结合早停在高准确率与低成员推理成功率之间实现了最佳平衡，尤其在异常样本上表现更优。
• 结果表明，通过减少过拟合而增强的泛化技术本身就能提升隐私保护，从而质疑了DP在实证MIA防御中必要性的前提。