[论文解读] Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability

Stacey Truex, Ling Liu+3 more|arXiv (Cornell University)|Nov 21, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用 4

一句话总结

本文提出MPLens系统，用于分析机器学习模型中的成员推理漏洞，表明数据偏斜会增加少数类的风险，而差分隐私则在准确率与隐私保护之间带来显著权衡。研究发现，偏斜数据集会加剧成员推理威胁，尽管差分隐私可降低漏洞，但通常会损害模型性能。

ABSTRACT

Membership inference attacks seek to infer the membership of individual training instances of a privately trained model. This paper presents a membership privacy analysis and evaluation system, called MPLens, with three unique contributions. First, through MPLens, we demonstrate how membership inference attack methods can be leveraged in adversarial machine learning. Second, through MPLens, we highlight how the vulnerability of pre-trained models under membership inference attack is not uniform across all classes, particularly when the training data itself is skewed. We show that risk from membership inference attacks is routinely increased when models use skewed training data. Finally, we investigate the effectiveness of differential privacy as a mitigation technique against membership inference attacks. We discuss the trade-offs of implementing such a mitigation strategy with respect to the model complexity, the learning task complexity, the dataset complexity and the privacy parameter settings. Our empirical results reveal that (1) minority groups within skewed datasets display increased risk for membership inference and (2) differential privacy presents many challenging trade-offs as a mitigation technique to membership inference risk.

研究动机与目标

• 研究数据偏斜如何影响机器学习模型中成员推理漏洞的影响。
• 评估差分隐私作为缓解成员推理攻击技术的有效性。
• 开发一种系统化框架MPLens，用于评估机器学习即服务（MLaaS）平台中的成员隐私风险。
• 探索模型复杂度、学习任务复杂度与隐私参数设置在成员推理攻击中的相互作用。
• 通过分析差分隐私对成员泄露的影响，为隐私保护联邦学习提供洞见。

提出的方法

• 作者设计了MPLens，一个用于黑盒成员推理攻击的成员隐私分析与评估系统。
• 他们使用影子模型攻击生成替代模型，以模仿目标模型的行为，从而在目标模型上实施成员推理。
• 该系统评估在偏斜数据集上训练的模型，以测量特定类别的成员推理漏洞。
• 通过在训练过程中向模型更新添加校准噪声，应用差分隐私以保护成员隐私。
• 该方法评估了模型复杂度、任务复杂度、数据集复杂度与隐私预算（ε）设置之间的权衡。
• 通过在多个数据集和深度学习架构上进行实证评估，以衡量攻击成功率与模型效用。

实验结果

研究问题

• RQ1 训练集中数据偏斜如何影响单个类别对成员推理攻击的脆弱性？
• RQ2 差分隐私在多大程度上可降低深度学习模型中的成员推理脆弱性？
• RQ3 在应用差分隐私时，模型准确率与隐私保护之间的权衡是什么？
• RQ4 模型复杂度与学习任务复杂度如何影响成员推理风险及缓解措施的有效性？
• RQ5 成员推理攻击能否被用于生成可促进对抗攻击的替代模型？

主要发现

• 在偏斜数据集中，少数类的成员推理脆弱性显著高于多数类。
• 使用差分隐私可降低成员推理成功率，但通常会导致模型准确率大幅下降。
• 差分隐私作为缓解技术的有效性对隐私预算（ε）的选择极为敏感，ε值越低，隐私保护越强，但模型效用越低。
• 模型复杂度与学习任务复杂度会加剧应用差分隐私时隐私与性能之间的权衡。
• 数据偏斜导致非均匀的隐私风险，其中代表性不足的类别面临不成比例的成员推理威胁。
• 本研究证明，成员推理可用于生成高保真度的替代模型，从而增加对抗攻击的风险。