[论文解读] SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification

Ashwinee Panda, Saeed Mahloujifar+3 more|arXiv (Cornell University)|Dec 12, 2021

Privacy-Preserving Technologies in Data被引用 13

一句话总结

SparseFed 是一种新颖的联邦学习防御方法，通过全局 top-k 梯度稀疏化和设备级梯度裁剪，有效缓解有针对性的模型投毒攻击。在 FEMNIST 数据集上，该方法将攻击成功率降低了超过 97%，同时保持测试准确率在未受保护模型的 1% 以内，其鲁棒性和可扩展性在多种数据集和攻击类型下均优于现有防御方法。

ABSTRACT

Federated learning is inherently vulnerable to model poisoning attacks because its decentralized nature allows attackers to participate with compromised devices. In model poisoning attacks, the attacker reduces the model's performance on targeted sub-tasks (e.g. classifying planes as birds) by uploading "poisoned" updates. In this report we introduce \algoname{}, a novel defense that uses global top-k update sparsification and device-level gradient clipping to mitigate model poisoning attacks. We propose a theoretical framework for analyzing the robustness of defenses against poisoning attacks, and provide robustness and convergence analysis of our algorithm. To validate its empirical efficacy we conduct an open-source evaluation at scale across multiple benchmark datasets for computer vision and federated learning.

研究动机与目标

• 解决联邦学习在跨设备和跨组织设置下对有针对性模型投毒攻击的关键脆弱性。
• 开发一种训练时防御机制，在非独立同分布数据、单次设备参与以及缺乏声誉机制等现实约束下依然有效。
• 利用认证半径框架提供可证明的鲁棒性保证，以限制投毒导致的模型漂移。
• 在计算机视觉和自然语言处理的多个基准数据集上，通过多种攻击场景实证验证该防御的有效性。
• 证明基于稀疏化的防御方法在攻击者协同设置下可超越现有 Byzantine-鲁棒方法。

提出的方法

• 该方法在设备端对梯度进行裁剪，以限制单个更新的幅度，防止其在传输前过大。
• 在服务器端，计算全局梯度并仅保留按幅度排序的 top-k 元素，形成稀疏更新向量。
• 该稀疏化过程天然过滤掉低幅度的、可能具有恶意性的更新，这些更新不太可能与多数方向一致。
• 该防御机制被集成到联邦优化流程中，仅在训练时运行，无需测试时修改。
• 该框架使用认证半径度量，形式化地限制了投毒模型相对于良性模型的最大漂移。
• 评估了两种实现方式：标准 top-k 稀疏化和基于 FetchSGD 的稀疏化，两者均展现出更高的鲁棒性和通信效率。

实验结果

研究问题

• RQ1 梯度稀疏化与裁剪是否能联合提供对联邦学习中针对性模型投毒攻击的可证明鲁棒性？
• RQ2 SparseFed 在跨设备和跨组织设置下，对现有及新引入的协同攻击策略表现如何？
• RQ3 与 $β$-裁剪或带动量的 $β$-裁剪等基线防御相比，稀疏化在多大程度上减少了模型漂移的认证半径？
• RQ4 SparseFed 是否能在多样化的、非独立同分布数据集上，显著降低攻击成功率的同时保持高测试准确率？
• RQ5 在攻击者协调更新的情况下，基于稀疏化的防御方法是否能比现有 Byzantine-鲁棒方法展现出更优的鲁棒性？

主要发现

• 在 FEMNIST 数据集上，当攻击目标为数字 1 和 7 时，SparseFed 将攻击准确率降低至 1.95%；当目标为 4 和 9 时，降低至 6.72%，表明其在语义后门变体下具有稳定的鲁棒性。
• 在 FEMNIST 数据集上，SparseFed 相较于未受保护的基线，将攻击成功率降低了超过 97%，显著优于现有防御方法。
• 在 CIFAR100 设置下，SparseFed 在相同隐蔽阈值下相比 $β$-裁剪防御，鲁棒性提升了 5–10 倍，OIF 从 0.5 降低至 0.05。
• 在所有评估的数据集中，包括样本量从 50,000 到 800,000、参数量为 600 万至 4000 万的模型，SparseFed 维持了与未受保护模型相差不超过 1% 的测试准确率。
• 采用 FetchSGD 稀疏化的 SparseFed 在相同通信和隐蔽约束下，其帕累托前沿在鲁棒性上比 $β$-裁剪高出 5–10 倍。
• 即使攻击者使用辅助数据集大小为 500 的协同 PGD 攻击，该防御仍保持有效，表明其对协调性、高保真度投毒攻击具有强韧性。