[论文解读] Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning

Virat Shejwalkar, Amir Houmansadr+2 more|arXiv (Cornell University)|Aug 23, 2021

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文批判性地评估了在生产环境联邦学习（FL）中的非目标中毒攻击，表明即使在现实威胁模型下，FL 也表现出极高的鲁棒性。通过在三个基准数据集上进行广泛实验，本文表明，像 FedAvg 这类简单防御机制可显著缓解最先进攻击，挑战了此前认为 FL 易受攻击的假设，并倡导开展更具实用性的联邦学习鲁棒性研究。

ABSTRACT

While recent works have indicated that federated learning (FL) may be vulnerable to poisoning attacks by compromised clients, their real impact on production FL systems is not fully understood. In this work, we aim to develop a comprehensive systemization for poisoning attacks on FL by enumerating all possible threat models, variations of poisoning, and adversary capabilities. We specifically put our focus on untargeted poisoning attacks, as we argue that they are significantly relevant to production FL deployments. We present a critical analysis of untargeted poisoning attacks under practical, production FL environments by carefully characterizing the set of realistic threat models and adversarial capabilities. Our findings are rather surprising: contrary to the established belief, we show that FL is highly robust in practice even when using simple, low-cost defenses. We go even further and propose novel, state-of-the-art data and model poisoning attacks, and show via an extensive set of experiments across three benchmark datasets how (in)effective poisoning attacks are in the presence of simple defense mechanisms. We aim to correct previous misconceptions and offer concrete guidelines to conduct more accurate (and more realistic) research on this topic.

研究动机与目标

• 通过分析实际威胁模型，重新评估非目标中毒攻击在联邦学习中的现实影响。
• 挑战当前认为 FL 对中毒攻击高度脆弱的普遍观点，通过展示其在现实条件下的鲁棒性。
• 基于对手的目标、知识和能力，系统化构建联邦学习中毒的威胁模型。
• 在具备基础防御机制的类生产环境中，评估最先进数据和模型中毒攻击的有效性。
• 为未来联邦学习鲁棒性研究提供具体、实用的指导，摆脱理论假设的局限。

提出的方法

• 使用三个维度系统分类中毒威胁模型：对手目标、知识水平和能力。
• 聚焦两种实际相关的威胁模型：无盒离线数据中毒和白盒在线模型中毒。
• 设计新颖、最先进的非目标数据和模型中毒攻击，专为生产环境联邦学习场景而定制。
• 在包括不同客户端参与率和实际客户端被 compromise 比例在内的现实条件下，实施并评估攻击。
• 使用标准聚合规则如 FedAvg，并在干净标签和后门风格数据中毒条件下评估鲁棒性。
• 在三个基准数据集（CIFAR-10、FEMNIST、Shakespeare）上开展广泛实验，涵盖跨设备和跨边缘联邦学习设置。

实验结果

研究问题

• RQ1 在具备基础防御机制的现实生产联邦学习环境中，非目标中毒攻击的有效性如何？
• RQ2 哪些联邦学习中毒威胁模型在真实世界部署中具有实际可行性？
• RQ3 标准聚合规则如 FedAvg 在生产环境中在多大程度上能缓解中毒攻击的影响？
• RQ4 客户端参与度的多样性以及客户端被 compromise 的比例如何影响中毒攻击的成功率？
• RQ5 现有理论鲁棒性保证在应用于真实联邦学习系统时存在哪些局限性？

主要发现

• 即使使用最先进的攻击技术，非目标中毒攻击在生产联邦学习环境中也基本无效。
• 像 FedAvg 这类简单防御机制提供了强大的鲁棒性，使所有评估基准中的攻击成功率降至接近零。
• 在跨边缘联邦学习中，即使 1% 的客户端被 compromise，数据中毒攻击的影响也可忽略不计，原因在于良性客户端数量庞大。
• 由于聚合平均效应，被 compromise 客户端在各边缘组织中集中分布并不会显著提高攻击成功率。
• 在跨边缘联邦学习中，模型中毒攻击不切实际，因为其需要长期、持续访问企业基础设施，而这种情况在现实中极不可能发生。
• 文献中假设最多 25% 的客户端被 compromise 是不现实的，尤其对于 Gboard 等大规模系统而言，这意味着需控制 2.5 亿台设备，这在实践中不可行。