[论文解读] Bounding Membership Inference

Anvith Thudi, Ilia Shumailov+2 more|arXiv (Cornell University)|Feb 24, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文为使用 $(\varepsilon,\delta)$-差分隐私训练的模型，提出了成员推理（MI）攻击精度的更紧致理论边界，表明训练前对数据集进行子采样，比采用更强的差分隐私保证更能显著降低成员推理的成功率。核心贡献是提出一种基于训练集子采样的新型隐私放大机制，使在宽松的差分隐私设置下仍能保持隐私保护，从而在 MNIST 和 CIFAR10 上改善了准确率-隐私权衡。

ABSTRACT

Differential Privacy (DP) is the de facto standard for reasoning about the privacy guarantees of a training algorithm. Despite the empirical observation that DP reduces the vulnerability of models to existing membership inference (MI) attacks, a theoretical underpinning as to why this is the case is largely missing in the literature. In practice, this means that models need to be trained with DP guarantees that greatly decrease their accuracy. In this paper, we provide a tighter bound on the positive accuracy (i.e., attack precision) of any MI adversary when a training algorithm provides $(\varepsilon, δ)$-DP. Our bound informs the design of a novel privacy amplification scheme: an effective training set is sub-sampled from a larger set prior to the beginning of training. We find this greatly reduces the bound on MI positive accuracy. As a result, our scheme allows the use of looser DP guarantees to limit the success of any MI adversary; this ensures that the model's accuracy is less impacted by the privacy guarantee. While this clearly benefits entities working with far more data than they need to train on, it can also improve the accuracy-privacy trade-off on benchmarks studied in the academic literature. Consequently, we also find that subsampling decreases the effectiveness of a state-of-the-art MI attack (LiRA) much more effectively than training with stronger DP guarantees on MNIST and CIFAR10. We conclude by discussing implications of our MI bound on the field of machine unlearning.

研究动机与目标

• 为弥合差分隐私（DP）与成员推理（MI）攻击鲁棒性之间的理论差距，特别是针对攻击精度。
• 为 $(\varepsilon,\delta)$-差分隐私模型推导更紧致的 MI 正确率（即攻击精度）边界。
• 探究数据集子采样如何作为一种隐私放大机制，比传统差分隐私放大更有效地降低 MI 漏洞。
• 通过结合子采样，使宽松的差分隐私保证成为可能，从而改善准确率-隐私权衡。
• 将该边界应用于机器遗忘问题，为成功数据遗忘提供理论标准。

提出的方法

• 利用计数引理推导出 MI 正确率的紧致上界，利用疑似训练样本的有限集合。
• 提出一种基于从更大数据池中子采样训练数据集的新隐私放大机制。
• 将边界扩展至 $(\varepsilon,\delta)$-DP，考虑隐私保证中存在小失败概率的情况。
• 证明子采样在 DP-SGD 中比批量采样更有效地放大隐私，显著降低 MI 成功率。
• 利用推导出的边界定义机器遗忘的成功阈值：对已遗忘数据点的成员推理概率足够低时，认为模型已完成遗忘。
• 在 MNIST 和 CIFAR10 上通过实证验证该边界，将子采样与更强的 DP 保证在 LiRA 攻击下的表现进行比较。

实验结果

研究问题

• RQ1 如何为使用 $(\varepsilon,\delta)$-差分隐私训练的模型，理论上界定成员推理攻击的正确率？
• RQ2 与收紧 DP 保证相比，对训练数据集进行子采样在多大程度上降低了成员推理攻击的成功率？
• RQ3 基于子采样的隐私放大能否优于传统 DP 放大技术（如批量采样），更有效地降低 MI 漏洞？
• RQ4 所提出的边界如何指导有效机器遗忘协议的设计？
• RQ5 该边界是否揭示当前的 DP 保证在考虑数据集构建（如子采样）时可能过于保守？

主要发现

• 所提出的 MI 正确率边界比以往工作更紧致，尤其在高置信度预测下表现更优，且依赖于数据点属于训练集的先验概率 $\mathbb{P}_{\mathbf{x}^{*}}(1)$。
• 在 MNIST 和 CIFAR10 上，从更大数据池中对训练数据集进行子采样，比降低 DP 保证中的 $\varepsilon$ 值更能有效降低 MI 正确率。
• 在 LiRA 攻击下，子采样带来的成功率降低程度超过使用更强的 DP 保证，证明了所提放大机制的实际优势。
• 该边界使得机器遗忘的定义得以更新：若成员推理概率足够低，则认为模型已遗忘该数据点。
• 该方法允许在采用宽松的 DP 保证（如更高的 $\varepsilon$）的同时，仍能确保强大的 MI 抵御能力，从而在不牺牲隐私的前提下提升模型准确率。
• 对 MI 精度的理论边界在不同数据集上均表现稳健，并揭示了以往基于固定 50% 基线准确率的假设可能低估了攻击者的实际优势。