[论文解读] Differentially Private Learning Does Not Bound Membership Inference.

Thomas Humphries, Matthew Rafuse+4 more|arXiv (Cornell University)|Oct 23, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 14

一句话总结

本文挑战了不同差分隐私（DP）机器学习模型对成员推理攻击（MIAs）具有鲁棒性的假设。通过在真实世界数据集上的理论分析与实验，表明数据偏差以及训练样本之间的相关性会破坏DP的理论隐私边界，从而使得即使应用了DP，MIAs仍能成功。

ABSTRACT

Training machine learning models on privacy-sensitive data has become a popular practice, driving innovation in ever-expanding fields. This has opened the door to a series of new attacks, such as Membership Inference Attacks (MIAs), that exploit vulnerabilities in ML models in order to expose the privacy of individual training samples. A growing body of literature holds up Differential Privacy (DP) as an effective defense against such attacks, and companies like Google and Amazon include this privacy notion in their machine-learning-as-a-service products. However, little scrutiny has been given to how underlying correlations or bias within the datasets used for training these models can impact the privacy guarantees provided by DP. In this work, we challenge prior findings that suggest DP provides a strong defense against MIAs. We provide theoretical and experimental evidence for cases where the theoretical bounds of DP are violated by MIAs using the same attacks described in prior work. We first show this empirically, with real-world datasets carefully split to create a distinction between member and non-member samples, and then we study the reason why the theoretical DP bounds break when members and non-members are not independent and identically distributed. Our findings suggest that certain properties of datasets, such as bias or data correlation, play a critical role in determining the effectiveness of DP as a privacy preserving mechanism against MIAs.

研究动机与目标

• 调查差分隐私（DP）在真实世界机器学习应用中是否真正能够抵御成员推理攻击（MIAs）。
• 研究训练数据集中的数据偏差和相关性如何影响DP作为隐私保护机制的有效性。
• 挑战广泛持有的观点，即DP能为MIAs提供强大理论与实际保护。
• 通过实证与理论分析，证明在非独立同分布（non-i.i.d.）成员与非成员数据分布下，DP的理论隐私边界遭到违反。

提出的方法

• 作者在真实世界数据集上训练的差分隐私模型上设计并实施了成员推理攻击（MIAs），并精心划分成员与非成员样本。
• 他们分析了差分隐私的理论边界，并识别出当训练数据表现出相关性或偏差时，这些边界被违反的条件。
• 研究在成员与非成员样本非独立同分布（non-i.i.d.）的数据集上进行实证评估，以模拟真实世界的数据分布。
• 理论分析表明，当成员与非成员的分布非i.i.d.时，DP的隐私保障会失效。
• 作者比较了在不同数据相关性与偏差水平下的攻击成功率，以量化其对DP有效性的影响。

实验结果

研究问题

• RQ1 在何种条件下，差分隐私无法防止成员推理攻击？
• RQ2 训练集中数据的相关性与偏差如何影响差分隐私模型的理论隐私边界？
• RQ3 非独立同分布（non-i.i.i.d.）的成员与非成员数据分布在多大程度上破坏了DP的隐私保障？
• RQ4 即使满足理论DP边界，成员推理攻击是否仍能在差分隐私模型上成功？

主要发现

• 当训练数据中存在成员与非成员样本之间的相关性或偏差时，差分隐私无法保证对成员推理攻击的防护。
• 实证结果表明，MIAs在具有非i.i.i.d.成员与非成员分布的真实世界数据集上训练的差分隐私模型上取得了高成功率。
• 当独立同分布（i.i.i.d.）数据假设被打破时，特别是在存在数据相关性或偏差的情况下，差分隐私的理论边界在实践中遭到违反。
• 本研究识别出，数据分布特性（如偏差与相关性）在破坏DP对MIAs的隐私保障方面起着关键作用。