[论文解读] ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models

Ahmed Salem, Yang Zhang+4 more|arXiv (Cornell University)|Jun 4, 2018

Adversarial Robustness in Machine Learning被引用 13

一句话总结

本文提出了首个与模型和数据无关的机器学习模型成员推理攻击，证明了在极简假设下（仅使用一个影子模型，甚至无需影子模型）即可实施有效攻击。作者进一步提出了两种实用防御方法——Dropout与模型堆叠，显著降低了攻击成功率，同时在八个不同数据集上保持了模型的实用性。

ABSTRACT

Machine learning (ML) has become a core component of many real-world applications and training data is a key factor that drives current progress. This huge success has led Internet companies to deploy machine learning as a service (MLaaS). Recently, the first membership inference attack has shown that extraction of information on the training set is possible in such MLaaS settings, which has severe security and privacy implications. However, the early demonstrations of the feasibility of such attacks have many assumptions on the adversary, such as using multiple so-called shadow models, knowledge of the target model structure, and having a dataset from the same distribution as the target model's training data. We relax all these key assumptions, thereby showing that such attacks are very broadly applicable at low cost and thereby pose a more severe risk than previously thought. We present the most comprehensive study so far on this emerging and developing threat using eight diverse datasets which show the viability of the proposed attacks across domains. In addition, we propose the first effective defense mechanisms against such broader class of membership inference attacks that maintain a high level of utility of the ML model.

研究动机与目标

• 证明相较于先前工作，机器学习模型的成员推理攻击在显著放宽假设条件的情况下依然可行。
• 表明即使攻击者无法访问目标模型的架构或训练数据分布，攻击仍可有效实施。
• 开发并评估新型防御机制，以在不降低模型性能的前提下减少成员推理风险。
• 确立成员推理威胁在多样化机器学习应用和数据集中的普遍性与实用性。

提出的方法

• 提出单影子模型攻击方法，替代以往对多个影子模型的需求，大幅降低计算成本与复杂度。
• 引入数据迁移攻击方法，使用不同数据集训练影子模型，实现在无法访问目标模型训练数据分布情况下的攻击。
• 提出无监督成员推理攻击方法，完全无需构建影子模型，仅依赖目标模型的输出行为。
• 在训练过程中应用Dropout正则化，以减少模型过拟合，从而降低成员信息泄露风险。
• 采用模型堆叠技术，将多个基础模型组合为分层集成模型，提升对成员推理攻击的鲁棒性。
• 在八种不同数据集（图像、文本、表格）上，使用多种机器学习模型（CNN、MLP等）评估攻击与防御性能。

实验结果

研究问题

• RQ1 当仅使用一个影子模型而非多个模型时，成员推理攻击是否依然有效？
• RQ2 在无法访问与目标模型相同分布的训练数据时，成员推理的可行程度如何？
• RQ3 是否可能在完全无监督的情况下执行成员推理，而无需构建任何影子模型？
• RQ4 如Dropout与模型堆叠等防御机制，能否有效降低成员推理成功率，同时保持高模型准确率？

主要发现

• 使用单个影子模型即可实现与先前使用10个影子模型方法几乎相同的攻击性能（在CIFAR-100上使用CNN时，精确率为0.95，召回率为0.95）。
• 数据迁移攻击——即在无关数据集上训练影子模型——表现出强大的成员推理性能，证明了该方法的广泛适用性。
• 无监督攻击方法（完全无需影子模型）仍能实现有效的成员推理，证明该威胁具有普遍性。
• 所提出的Dropout防御方法显著降低了成员推理攻击的成功率，同时在所有评估数据集上保持了高模型准确率。
• 作为防御手段的模型堆叠同样有效降低了攻击性能，且对目标模型预测能力的影响极小。
• 两种防御方法联合使用时，在所有八个不同数据集上均显著降低了成员推理的成功率。