[论文解读] Data and Model Dependencies of Membership Inference Attack

Shakila Mahjabin Tonni, Dinusha Vatsalan+4 more|arXiv (Cornell University)|Feb 17, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用 6

一句话总结

本文通过实验研究了数据和模型特性如何影响成员推理攻击（MIA）的成功率，并提出使用公平性和互信息作为正则化项以防御MIA。通过在模型训练中引入群体公平性、预测公平性和个体公平性，该方法将MIA准确率降低高达25%，且未损害模型性能，优于传统的L1/L2正则化。

ABSTRACT

Machine learning (ML) models have been shown to be vulnerable to Membership Inference Attacks (MIA), which infer the membership of a given data point in the target dataset by observing the prediction output of the ML model. While the key factors for the success of MIA have not yet been fully understood, existing defense mechanisms such as using L2 regularization \cite{10shokri2017membership} and dropout layers \cite{salem2018ml} take only the model's overfitting property into consideration. In this paper, we provide an empirical analysis of the impact of both the data and ML model properties on the vulnerability of ML techniques to MIA. Our results reveal the relationship between MIA accuracy and properties of the dataset and training model in use. In particular, we show that the size of shadow dataset, the class and feature balance and the entropy of the target dataset, the configurations and fairness of the training model are the most influential factors. Based on those experimental findings, we conclude that along with model overfitting, multiple properties jointly contribute to MIA success instead of any single property. Building on our experimental findings, we propose using those data and model properties as regularizers to protect ML models against MIA. Our results show that the proposed defense mechanisms can reduce the MIA accuracy by up to 25\% without sacrificing the ML model prediction utility.

研究动机与目标

• 理解数据和模型特性对MIA成功率的联合影响，超越过拟合的范畴。
• 识别显著增加或降低对MIA脆弱性的关键数据与模型因素。
• 基于具有影响力的数据显示和模型特性，开发新型防御机制作为正则化项。
• 评估公平性感知正则化是否能在不牺牲模型准确率的前提下提升MIA的鲁棒性。
• 提出适用于多种机器学习算法的模型无关防御方法。

提出的方法

• 通过实验分析MIA准确率与多种数据特性之间的关系，包括影子数据集大小、类别与特征平衡性，以及数据集熵。
• 研究模型特异性因素，如深度、宽度，以及子组和记录层面预测的公平性。
• 使用具有不同架构的影子模型，评估模型配置对MIA有效性的影响。
• 基于模型公平性度量，提出三种新型正则化项：群体公平性（δg）、预测公平性（δp）和个体公平性（δi）。
• 将数据样本与模型参数之间的互信息作为正则化项，以减少信息泄露。
• 使用这些正则化项训练模型，并评估MIA准确率、训练/测试准确率以及损失下降情况。

实验结果

研究问题

• RQ1 类别平衡性、特征平衡性和数据集熵等数据特性如何影响MIA准确率？
• RQ2 深度、宽度以及预测公平性等模型特定因素如何影响MIA的成功率？
• RQ3 通过群体、预测和个体公平性度量进行正则化，能否在不损害模型效用的前提下降低MIA准确率？
• RQ4 目标模型与影子模型配置的组合如何影响MIA的有效性？
• RQ5 数据与模型参数之间的互信息能否作为MIA防御的有效正则化项？

主要发现

• MIA准确率随影子数据集增大和目标数据集中特征平衡性提高而上升，而类别不平衡和低熵会降低MIA成功率。
• 更深更宽的神经网络会导致更精确的成员推理攻击，表明模型架构复杂性会增加脆弱性。
• 在子组和记录层面对预测行为更具公平性的模型，对MIA表现出显著更高的鲁棒性。
• 结合不同类型影子模型可提升MIA有效性，表明攻击成功率依赖于模型组合。
• 使用公平性度量（δg、δp、δi）进行正则化可将MIA准确率降低高达25%，优于L1和L2正则化。
• 所提出的正则化项还能改善训练损失，并与基线及标准正则化方法相比，保持或略微提高模型准确率。