[论文解读] Modelling and Quantifying Membership Information Leakage in Machine Learning

Farhad Farokhi, Mohamed Ali Kâafar|arXiv (Cornell University)|Jan 29, 2020

Adversarial Robustness in Machine Learning参考文献 28被引用 23

一句话总结

本文提出了一种新颖的信息论框架，利用条件互信息和Kullback–Leibler散度来建模和量化机器学习中的成员信息泄露。研究证明，随着训练数据集增大、正则化增强以及模型敏感性降低，泄露程度下降，并表明$(\epsilon,\delta)$-差分隐私的高斯噪声可将泄露降低$\mathcal{O}(\log^{1/2}(\delta^{-1})\epsilon^{-1})$，为防御成员推断攻击提供了理论基础。

ABSTRACT

Machine learning models have been shown to be vulnerable to membership inference attacks, i.e., inferring whether individuals' data have been used for training models. The lack of understanding about factors contributing success of these attacks motivates the need for modelling membership information leakage using information theory and for investigating properties of machine learning models and training algorithms that can reduce membership information leakage. We use conditional mutual information leakage to measure the amount of information leakage from the trained machine learning model about the presence of an individual in the training dataset. We devise an upper bound for this measure of information leakage using Kullback--Leibler divergence that is more amenable to numerical computation. We prove a direct relationship between the Kullback--Leibler membership information leakage and the probability of success for a hypothesis-testing adversary examining whether a particular data record belongs to the training dataset of a machine learning model. We show that the mutual information leakage is a decreasing function of the training dataset size and the regularization weight. We also prove that, if the sensitivity of the machine learning model (defined in terms of the derivatives of the fitness with respect to model parameters) is high, more membership information is potentially leaked. This illustrates that complex models, such as deep neural networks, are more susceptible to membership inference attacks in comparison to simpler models with fewer degrees of freedom. We show that the amount of the membership information leakage is reduced by $\mathcal{O}(\log^{1/2}(δ^{-1})ε^{-1})$ when using Gaussian $(ε,δ)$-differentially-private additive noises.

研究动机与目标

• 理解影响机器学习模型成员推断攻击成功率的因素。
• 开发一种严格的、基于信息论的成员信息泄露度量方法，以量化模型关于训练数据成员身份的泄露程度。
• 研究模型属性（如数据集大小、正则化和模型敏感性）对泄露的影响。
• 评估差分隐私机制（尤其是高斯噪声）对减少成员泄露的影响。
• 建立成员推断成功率与信息论度量（如KL散度）之间的理论联系。

提出的方法

• 本文通过给定模型参数下，数据记录与训练后模型之间的条件互信息来定义成员信息泄露。
• 利用包含与不包含特定训练记录时模型分布之间的Kullback–Leibler散度，推导出该泄露的上界。
• 通过Le Cam不等式和Pinsker不等式，证明了基于KL的泄露度量可限制对手在成员推断攻击中的成功概率。
• 基于目标函数对参数的导数，提出一种模型敏感性度量，将模型复杂度与泄露关联起来。
• 分析了在$(\epsilon,\delta)$-差分隐私下添加高斯噪声的影响，推导出泄露的定量减少量。
• 通过在线性回归和深度神经网络上的实验验证了理论结果，测量了在不同数据集大小、正则化程度、特征数量和噪声水平下的对手优势与泄露程度。

实验结果

研究问题

• RQ1 训练数据集的大小如何影响机器学习模型中的成员信息泄露？
• RQ2 正则化在凸模型和非凸模型中在多大程度上减少成员信息泄露？
• RQ3 模型敏感性（由参数对目标函数的导数定义）如何影响成员推断攻击的可能性？
• RQ4 使用$(\epsilon,\delta)$-差分隐私高斯噪声时，成员信息泄露的定量减少量是多少？
• RQ5 泄露的理论边界与实际中成员推断攻击的成功率之间的相关性如何？

主要发现

• 成员信息泄露是训练数据集大小的递减函数，随着数据集增大，对手的成功概率和泄露程度均迅速下降。
• 正则化通过缓解过拟合来减少成员信息泄露，正则化权重越高，泄露越低，对手优势也越小。
• 更高的模型敏感性（即单位参数变化引起的目标函数变化更大）会增加成员信息泄露的潜在风险，解释了复杂模型（如深度神经网络）为何更易受攻击。
• 使用$(\epsilon,\delta)$-差分隐私高斯噪声可使成员信息泄露降低$\mathcal{O}(\log^{1/2}(\delta^{-1})\epsilon^{-1})$，提供了可量化的隐私-效用权衡。
• 在线性回归和深度神经网络上的实验结果表明，随着数据集增大、正则化增强以及噪声幅度增加，泄露和对手优势均下降。
• 基于KL散度的理论泄露度量紧密界定了对手的成功概率，验证了其作为成员隐私风险可靠度量的有效性。