[论文解读] Efficient passive membership inference attack in federated learning

Oualid Zari, Chuan Xu+1 more|arXiv (Cornell University)|Oct 31, 2021

Privacy-Preserving Technologies in Data被引用 15

一句话总结

该论文提出了一种在联邦学习中高度高效的被动成员推理攻击，与先前工作相比，内存使用量减少了三个数量级，计算量减少了五个数量级，同时在CIFAR100上实现了最高提升4.4个百分点的准确率。该攻击利用时间序列模型更新和轻量化架构，在仅使用极少资源的情况下实现成员推理，即使辅助数据集中缺少标签也能有效运作。

ABSTRACT

In cross-device federated learning (FL) setting, clients such as mobiles cooperate with the server to train a global machine learning model, while maintaining their data locally. However, recent work shows that client's private information can still be disclosed to an adversary who just eavesdrops the messages exchanged between the client and the server. For example, the adversary can infer whether the client owns a specific data instance, which is called a passive membership inference attack. In this paper, we propose a new passive inference attack that requires much less computation power and memory than existing methods. Our empirical results show that our attack achieves a higher accuracy on CIFAR100 dataset (more than $4$ percentage points) with three orders of magnitude less memory space and five orders of magnitude less calculations.

研究动机与目标

• 解决联邦学习对被动成员推理攻击的脆弱性问题，以保护客户端数据隐私。
• 降低现有成员推理攻击的计算和内存开销，以提升其实际可用性和可扩展性。
• 即使在辅助数据集缺乏标签或包含不完整记录的情况下，也能实现有效的成员推理。
• 设计一种可随观察到的训练轮次数量增加而扩展的攻击方法，且不会受到内存或计算资源的限制。

提出的方法

• 该攻击在联邦训练过程中多个时间点收集模型权重，形成目标客户端模型状态的时间序列。
• 它构建一个攻击模型，以不同训练轮次下的模型输出序列（例如logits或预测向量）作为输入，捕捉模型的动态演化过程。
• 该攻击模型采用一个小型且高效的神经网络架构，用于分类给定数据点是否属于目标客户端的训练集。
• 该方法对标签缺失具有鲁棒性：当标签不可用时，使用预测向量的熵或最大值作为输入，同时保持输入维度不变。
• 它避免存储完整的梯度或模型参数，而是专注于每层的输出和损失值，从而极大降低内存占用。
• 该方法兼容黑盒访问，仅需目标模型在不同训练步骤下的模型输出和损失值。

实验结果

研究问题

• RQ1 能否设计一种被动成员推理攻击，使其在保持或提升准确率的同时，相比现有方法显著减少内存和计算需求？
• RQ2 当辅助数据集缺乏标签或包含不完整数据时，该攻击的性能如何？
• RQ3 该攻击是否能扩展到超过以往方法所受内存限制的更多训练轮次？
• RQ4 客户端模型的过拟合是否能提升攻击性能？在早停设置下，该攻击与基线相比表现如何？
• RQ5 模型输出的时间演化过程如何帮助区分成员与非成员数据点？

主要发现

• 所提出的攻击在CIFAR100上使用AlexNet时实现了89.5%的成员推理准确率，比基线高出4.4个百分点。
• 该攻击仅使用1.06 MB内存，相比基线的1053 MB降低了三个数量级。
• 该攻击仅需6.66K次乘加操作（MACs），相比基线的1.44G MACs降低了五个数量级。
• 当标签不可用时，该攻击仅使用最后10个训练轮次即可保持超过75%的准确率，展现出对标签稀缺的强鲁棒性。
• 在观察到30个训练轮次的情况下，该攻击仅需31K MACs即可达到62.3%的准确率——比基线少超过20,000倍的计算量，同时保持相同的内存占用。
• 在训练早期停止时，该攻击相比基线最高可提升11.3个百分点的准确率，表明在非过拟合条件下性能更优。