[论文解读] Enhanced Membership Inference Attacks against Machine Learning Models

Jiayuan Ye, Aadyaa Maddi+3 more|arXiv (Cornell University)|Nov 18, 2021

Adversarial Robustness in Machine Learning参考文献 45被引用 13

一句话总结

本文提出了一种用于成员推理攻击的正式假设检验框架，统一了先前的工作，并通过参考模型的设计实现了更强的攻击。该框架引入了 Attack R 和 Attack D，通过最小化攻击者不确定性，实现了更高的真正例率与更低的假正例率，在 CIFAR-10 和 Wide ResNet 模型上，其在准确率和计算效率方面均优于先前方法（如 LiRA）。

ABSTRACT

How much does a machine learning algorithm leak about its training data, and why? Membership inference attacks are used as an auditing tool to quantify this leakage. In this paper, we present a comprehensive extit{hypothesis testing framework} that enables us not only to formally express the prior work in a consistent way, but also to design new membership inference attacks that use reference models to achieve a significantly higher power (true positive rate) for any (false positive rate) error. More importantly, we explain extit{why} different attacks perform differently. We present a template for indistinguishability games, and provide an interpretation of attack success rate across different instances of the game. We discuss various uncertainties of attackers that arise from the formulation of the problem, and show how our approach tries to minimize the attack uncertainty to the one bit secret about the presence or absence of a data point in the training set. We perform a extit{differential analysis} between all types of attacks, explain the gap between them, and show what causes data points to be vulnerable to an attack (as the reasons vary due to different granularities of memorization, from overfitting to conditional memorization). Our auditing framework is openly accessible as part of the extit{Privacy Meter} software tool.

研究动机与目标

• 为了解决现有成员推理攻击因对攻击者不确定性假设不同而导致的不一致性和不可比性问题。
• 将成员推理形式化为一个假设检验问题，建立统一框架，以实现攻击性能的一致比较与解释。
• 识别并最小化成员推理攻击中的不确定性来源，特别是表示数据是否属于训练集的隐藏比特。
• 通过分析从过拟合到条件记忆等不同粒度的泄漏，解释为何不同攻击会成功或失败。
• 开发一种系统化方法论，以实现更强、更高效的攻击，并为隐私风险评估提供可操作的见解。

提出的方法

• 将成员推理形式化为一个不可区分性博弈中的随机实验，攻击者需根据模型输出判断某数据点是否属于训练集。
• 引入一个假设检验模板，以捕捉攻击者不确定性，并实现不同方法间攻击能力的一致比较。
• 利用参考模型设计 Attack R 和 Attack D，以估计成员推理的阈值，将不确定性最小化为单个比特（在/不在）。
• 使用微分分析比较攻击方法，识别漏洞的成因，包括过拟合、难样本的记忆化，以及潜在邻居的影响。
• 利用在数据子集上训练的参考模型，估计目标记录的条件泄漏，从而提高准确率并降低计算成本。
• 在 Privacy Meter 工具中实现该框架，支持可复现且可审计的机器学习模型隐私风险评估。

实验结果

研究问题

• RQ1 如何在统一的假设检验框架下正式统一成员推理攻击，以实现公平比较与解释？
• RQ2 攻击者知识中的哪些不确定性来源限制了成员推理攻击的性能，以及如何最小化这些来源？
• RQ3 为何不同攻击在推断成员身份时表现不同，哪些记忆化类型（如过拟合、条件记忆化）导致了漏洞？
• RQ4 剩余训练数据集的构成，特别是潜在邻居的存在，如何影响特定数据记录的脆弱性？
• RQ5 是否可以通过系统化方法论，开发出在准确率和效率两方面均优于 SOTA 方法（如 LiRA）的攻击？

主要发现

• Attack R 在 CIFAR-10 上使用 Wide ResNet 时，AUC 分数高于 LiRA（Carlini et al., 2022），且在低假正例率下保持相似的真正例率。
• Attack D 在 AUC 上优于 LiRA，并在固定高真正例率下实现了更低的假正例率，原因在于其考虑了未知目标数据集的影响。
• 所提出的框架通过仅需 2n 个 OUT 模型，将计算成本降低为 LiRA 的 (k+1)/2 倍（k 个目标点的摊销成本），显著降低了计算开销。
• 微分分析表明，脆弱性由多个同时存在的因素导致，包括过拟合、难样本的记忆化，以及受潜在邻居影响的条件记忆化。
• 当脆弱记录被正确预测为成员时，其损失显著降低，而随机记录的损失则在预测正确与否时保持稳定。
• 脆弱记录的潜在邻居对其脆弱性的影响强于整个训练数据集，表明局部数据结构比全局数据构成更具预测力。