[论文解读] Membership Leakage in Label-Only Exposures

Zheng Li, Shuicheng Yan|arXiv (Cornell University)|Jul 30, 2020

Adversarial Robustness in Machine Learning参考文献 65被引用 15

一句话总结

本文提出了一种基于决策的成员推理攻击，仅利用机器学习模型的预测标签，证明即使仅暴露标签，仍会泄露成员信息。作者提出了两种新型攻击——迁移攻击和边界攻击，其在某些情况下优于传统的基于分数的攻击方法，并揭示出成员样本在统计上比非成员样本离模型的决策边界更远。

ABSTRACT

Machine learning (ML) has been widely adopted in various privacy-critical applications, e.g., face recognition and medical image analysis. However, recent research has shown that ML models are vulnerable to attacks against their training data. Membership inference is one major attack in this domain: Given a data sample and model, an adversary aims to determine whether the sample is part of the model's training set. Existing membership inference attacks leverage the confidence scores returned by the model as their inputs (score-based attacks). However, these attacks can be easily mitigated if the model only exposes the predicted label, i.e., the final model decision. In this paper, we propose decision-based membership inference attacks and demonstrate that label-only exposures are also vulnerable to membership leakage. In particular, we develop two types of decision-based attacks, namely transfer attack, and boundary attack. Empirical evaluation shows that our decision-based attacks can achieve remarkable performance, and even outperform the previous score-based attacks in some cases. We further present new insights on the success of membership inference based on quantitative and qualitative analysis, i.e., member samples of a model are more distant to the model's decision boundary than non-member samples. Finally, we evaluate multiple defense mechanisms against our decision-based attacks and show that our two types of attacks can bypass most of these defenses.

研究动机与目标

• 探究当仅暴露预测标签（不暴露置信度分数）时，机器学习模型是否仍对成员推理攻击保持脆弱。
• 针对现有研究假设存在基于分数的访问方式这一空白，提出在仅标签威胁模型下更现实的攻击方法。
• 开发无需访问模型置信度分数的新攻击技术，以增强其在现实场景中的适用性。
• 分析成员推理攻击成功背后的成因，重点关注数据相对于决策边界的几何特性。
• 评估现有防御措施对所提攻击的有效性，特别是依赖于置信度分数扰动的防御方法。

提出的方法

• 设计一种迁移攻击，利用与目标模型同分布的影子数据集训练本地影子模型，并使用目标模型的预测标签对影子模型进行重新标注。
• 在影子模型上构建基于决策的成员推理分类器，以本地方式执行基于分数的攻击，利用转移得到的成员信息。
• 提出一种边界攻击，无需影子数据集，通过扰动输入样本并测量使模型预测发生变化所需的扰动幅度来运行。
• 将扰动幅度作为代理指标，以区分成员与非成员样本，其中较大的扰动幅度表示非成员。
• 提出一种通用的边界攻击阈值选择方法，无需事先了解目标模型的架构或训练数据。
• 通过定量和定性分析，将成员身份与模型决策边界的距离相关联。

实验结果

研究问题

• RQ1 当仅暴露最终预测标签而无法访问置信度分数时，成员推理攻击是否仍有效？
• RQ2 数据样本的哪些几何或统计特性与机器学习模型中的成员身份相关？
• RQ3 基于决策的攻击在性能上与传统的基于分数的成员推理攻击相比如何？
• RQ4 现有防御措施——尤其是置信度分数扰动——在多大程度上能缓解基于决策的成员推理攻击？
• RQ5 所提出的攻击能否绕过最先进的防御措施，如差分隐私和正则化技术？

主要发现

• 所提出的基于决策的攻击表现强劲，边界攻击在某些模型和数据集配置下优于以往的基于分数的攻击。
• 成员样本始终被发现比非成员样本离模型的决策边界更远，为成员推理攻击的成功提供了新的几何解释。
• 迁移攻击成功地仅通过标签查询，将目标模型的成员信息转移到本地影子模型。
• 边界攻击在无需影子数据集或目标模型先验知识的情况下仍能有效运行，仅依赖扰动幅度来推断成员身份。
• 置信度分数扰动防御（如 MemGuard）在仅标签环境下无效，因为其依赖于修改未暴露的分数。
• 重度正则化和提升泛化能力的防御措施虽能减少但无法完全消除成员信息泄露，表明仅标签暴露仍是重大的隐私风险。