[论文解读] Membership Inference Attacks and Defenses in Neural Network Pruning

Xiaoyong Yuan, Lan Zhang|arXiv (Cornell University)|Feb 7, 2022

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文首次对剪枝神经网络中的成员推理攻击（MIA）进行了全面分析，表明剪枝会因成员与非成员之间预测差异的加剧而增加隐私泄露风险。本文提出了一种基于自注意力机制的MIA，其性能优于现有攻击方法，并提出了一种基于KL散度的防御方法，在保持模型稀疏性和准确性的同时降低了隐私风险。

ABSTRACT

Neural network pruning has been an essential technique to reduce the computation and memory requirements for using deep neural networks for resource-constrained devices. Most existing research focuses primarily on balancing the sparsity and accuracy of a pruned neural network by strategically removing insignificant parameters and retraining the pruned model. Such efforts on reusing training samples pose serious privacy risks due to increased memorization, which, however, has not been investigated yet. In this paper, we conduct the first analysis of privacy risks in neural network pruning. Specifically, we investigate the impacts of neural network pruning on training data privacy, i.e., membership inference attacks. We first explore the impact of neural network pruning on prediction divergence, where the pruning process disproportionately affects the pruned model's behavior for members and non-members. Meanwhile, the influence of divergence even varies among different classes in a fine-grained manner. Enlighten by such divergence, we proposed a self-attention membership inference attack against the pruned neural networks. Extensive experiments are conducted to rigorously evaluate the privacy impacts of different pruning approaches, sparsity levels, and adversary knowledge. The proposed attack shows the higher attack performance on the pruned models when compared with eight existing membership inference attacks. In addition, we propose a new defense mechanism to protect the pruning process by mitigating the prediction divergence based on KL-divergence distance, whose effectiveness has been experimentally demonstrated to effectively mitigate the privacy risks while maintaining the sparsity and accuracy of the pruned models.

研究动机与目标

• 研究神经网络剪枝对训练数据隐私的影响，特别是对成员推理攻击的影响。
• 分析剪枝如何影响不同类别中训练成员与非成员之间的预测差异。
• 开发一种专为剪枝模型设计的新颖且高效的成员推理攻击。
• 提出一种防御机制，在不牺牲模型稀疏性或准确性的前提下减轻剪枝过程中的隐私泄露。

提出的方法

• 作者分析了剪枝模型中的预测差异，表明成员与非成员之间存在显著的行为偏移。
• 设计了一种自注意力机制，通过建模logits中样本间的关系来增强成员推理能力。
• 防御方法通过最小化成员与非成员预测分布之间的KL散度，降低其可区分性。
• 该防御在剪枝的微调阶段集成，以保持模型性能。
• 实验在多种剪枝策略、稀疏度水平和攻击者知识设定下对比了攻击与防御方法。
• 在标准视觉基准上评估了攻击与防御方法，并通过受控消融实验隔离隐私效应。

实验结果

研究问题

• RQ1 神经网络剪枝如何影响模型对成员推理攻击的敏感性？
• RQ2 剪枝是否在不同类别中引发预测差异的差异，从而可被成员推理攻击利用？
• RQ3 与现有攻击方法相比，自注意力机制能否提升在剪枝模型上的成员推理性能？
• RQ4 基于KL散度的缓解方法在不降低准确率或稀疏性的情况下，能在多大程度上减少剪枝模型中的隐私泄露？
• RQ5 所提出的攻击与防御方法在不同剪枝策略和攻击者知识水平下的性能表现如何？

主要发现

• 所提出的自注意力成员推理攻击在剪枝模型上的攻击成功率高于八种现有MIA方法。
• 剪枝加剧了成员与非成员之间的预测差异，尤其呈现出类别依赖性，从而放大了隐私风险。
• 基于KL散度的防御显著降低了成员推理攻击的成功率，同时保持了模型的稀疏性和准确性。
• 该防御在多种剪枝方法和稀疏度水平下均有效，表现出对不同剪枝策略的鲁棒性。
• 实验表明，与未剪枝模型相比，剪枝模型上的攻击性能更高，表明剪枝加剧了隐私泄露。
• 实验结果表明，即使在高稀疏度水平下，该防御仍能将模型准确率保持在基线模型的1%以内。