[论文解读] Model Poisoning Attacks to Federated Learning via Multi-Round Consistency

Yueqi Xie, Minghong Fang+1 more|arXiv (Cornell University)|Apr 24, 2024

Privacy-Preserving Technologies in Data被引用 4

一句话总结

PoisonedFL 是一种新型的联邦学习模型污染攻击，通过在恶意客户端更新中强制实现多轮一致性，无需了解真实客户端的数据或模型更新，即可实现高攻击效果。该攻击优于七种现有攻击，并突破了八种最先进的防御机制，表明联邦学习系统比以往认为的更加脆弱。

ABSTRACT

Model poisoning attacks are critical security threats to Federated Learning (FL). Existing model poisoning attacks suffer from two key limitations: 1) they achieve suboptimal effectiveness when defenses are deployed, and/or 2) they require knowledge of the model updates or local training data on genuine clients. In this work, we make a key observation that their suboptimal effectiveness arises from only leveraging model-update consistency among malicious clients within individual training rounds, making the attack effect self-cancel across training rounds. In light of this observation, we propose PoisonedFL, which enforces multi-round consistency among the malicious clients' model updates while not requiring any knowledge about the genuine clients. Our empirical evaluation on five benchmark datasets shows that PoisonedFL breaks eight state-of-the-art defenses and outperforms seven existing model poisoning attacks. Moreover, we also explore new defenses that are tailored to PoisonedFL, but our results show that we can still adapt PoisonedFL to break them. Our study shows that FL systems are considerably less robust than previously thought, underlining the urgency for the development of new defense mechanisms.

研究动机与目标

• 解决在部署防御机制时，现有模型污染攻击在联邦学习中效果有限的问题。
• 克服以往攻击对真实客户端模型更新或本地训练数据知识的依赖。
• 探究在多个训练轮次中强制一致性是否能显著提升攻击的持久性和有效性。
• 评估 PoisonedFL 在联邦学习中对一系列最先进的防御机制的鲁棒性。
• 证明联邦学习系统本质上比以往假设的更加脆弱，亟需更强的防御机制。

提出的方法

• PoisonedFL 通过优化恶意模型更新，使其在所有训练轮次中与一个随机符号向量对齐，从而实现多轮一致性，确保累积效应而不发生自我抵消。
• 它将问题建模为一个全轮次优化问题，以最大化在随机方向上的总聚合模型更新的幅值，该方向由一个随机符号向量 $\bm{s}$ 表征。
• 为使优化可计算，它将全轮次问题转化为每轮次问题，其中每个恶意更新是符号向量 $\bm{s}$ 与一个可学习幅值向量的逐元素乘积。
• 它在每轮动态调整幅值向量，以避免被防御机制检测和过滤，平衡攻击强度与隐蔽性。
• 该攻击与服务器的聚合规则和防御机制无关，无需访问真实客户端数据或模型更新。
• 它利用了一个观察：大幅值的随机方向更新会显著降低模型准确率，从而在长时间内实现大规模全局模型污染。

实验结果

研究问题

• RQ1 在恶意模型更新中强制实现多轮一致性，是否能显著提升联邦学习中模型污染攻击的有效性？
• RQ2 由于不依赖真实客户端数据或模型更新，PoisonedFL 是否比现有攻击更具实用性与隐蔽性？
• RQ3 PoisonedFL 是否能够绕过或降低八种最先进的联邦学习防御机制的性能？
• RQ4 当防御机制被应用时，该攻击的表现如何，是否在每轮过滤或裁剪的情况下仍保持有效？
• RQ5 从全局模型轨迹重建的合成数据在多大程度上可用于发动替代性攻击？PoisonedFL 与之相比表现如何？

主要发现

• 在 TrMean 防御下，PoisonedFL 在 MNIST 上实现 86.49% 的中位测试错误率，在 FashionMNIST 上实现 87.75%，优于依赖合成或真实本地数据的现有攻击。
• 它成功突破了八种最先进的防御机制，包括 TrMean、FLTrust 和 FLCert，在所有数据集和防御机制下，测试错误率均稳定高于 85%。
• 即使仅使用从全局模型轨迹重建的合成数据，现有攻击在 FashionMNIST 上的测试错误率最高仅为 27.82%，而 PoisonedFL 在无需此类数据的情况下仍实现 87.75% 的错误率。
• 由于多轮一致性，该攻击在多个训练轮次中保持高有效性，避免了以往攻击中常见的自我抵消问题。
• 即使防御机制对恶意更新进行裁剪或过滤，PoisonedFL 仍保持有效性，归因于其动态幅值调整和一致的方向性更新。
• 实验结果表明，当全局模型在多个轮次中持续沿一致的随机方向更新时，其准确率会显著下降，验证了核心攻击机制的有效性。