[论文解读] Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Federated Learning.

Virat Shejwalkar, Amir Houmansadr+2 more|arXiv (Cornell University)|Aug 23, 2021

Adversarial Robustness in Machine Learning参考文献 59被引用 11

一句话总结

本文在现实威胁模型下对联邦学习中的投毒攻击进行了批判性评估，表明联邦学习在实际应用中的鲁棒性远超以往认知。论文提出了在实际约束条件下具有新突破的投毒攻击方法，并表明即使基础防御机制也能显著降低攻击效果，从而挑战了文献中长期存在的假设。

ABSTRACT

While recent works have indicated that federated learning (FL) is vulnerable to poisoning attacks by compromised clients, we show that these works make a number of unrealistic assumptions and arrive at somewhat misleading conclusions. For instance, they often use impractically high percentages of compromised clients or assume unrealistic capabilities for the adversary. We perform the first critical analysis of poisoning attacks under practical production FL environments by carefully characterizing the set of realistic threat models and adversarial capabilities. Our findings are rather surprising: contrary to the established belief, we show that FL, even without any defenses, is highly robust in practice. In fact, we go even further and propose novel, state-of-the-art poisoning attacks under two realistic threat models, and show via an extensive set of experiments across three benchmark datasets how (in)effective poisoning attacks are, especially when simple defense mechanisms are used. We correct previous misconceptions and give concrete guidelines that we hope will encourage our community to conduct more accurate research in this space and build stronger (and more realistic) attacks and defenses.

研究动机与目标

• 通过识别先前工作中存在的错误假设，挑战联邦学习极易受到投毒攻击的普遍信念。
• 定义并分析实际联邦学习部署场景中的现实威胁模型和攻击者能力。
• 在这些现实条件下评估投毒攻击的有效性，包括简单防御机制的影响。
• 纠正文献中的误解，并为未来关于现实攻击与防御的研究提供可操作的指导。
• 证明即使在没有防御机制的情况下，联邦学习在合理攻击场景下也表现出强大的实际鲁棒性。

提出的方法

• 作者设计了两种新颖的投毒攻击框架，基于现实威胁模型，重点关注有限客户端 compromise 和受限的模型操作能力。
• 在三个基准数据集（如 CIFAR-10、FEMNIST、Shakespeare）上开展广泛实验，评估在不同客户端 compromise 比例和防御机制下的攻击成功率。
• 系统性地评估常见防御机制（如模型平均和鲁棒聚合）对攻击有效性的抑制作用。
• 威胁模型基于现实联邦学习部署的约束条件，包括对全局模型更新的有限访问权限以及对客户端数据的受限控制。
• 通过实证评估，比较不同客户端 compromise 比例和模型架构下的攻击性能。
• 通过测量攻击成功率、模型准确率下降程度以及对抗训练下的收敛行为，分析联邦学习的鲁棒性。

实验结果

研究问题

• RQ1 在考虑现实攻击者能力和威胁模型时，联邦学习中的投毒攻击有多有效？
• RQ2 在实际联邦学习环境中，被 compromise 的客户端数量在多大程度上影响攻击成功率？
• RQ3 在现实条件下，如鲁棒聚合或模型平均等简单防御机制在多大程度上能缓解投毒攻击？
• RQ4 先前研究中导致攻击有效性被高估的关键假设是什么？
• RQ5 我们能否开发出在实际约束条件下依然有效的新型、最先进的投毒攻击？

主要发现

• 在应用现实威胁模型时，联邦学习中的投毒攻击实际效果远低于以往报告的结果。
• 即使在高比例客户端被 compromise 的情况下（例如 30%），在实际约束下攻击成功率仍显著下降。
• 在多个基准数据集中，简单防御机制（如鲁棒聚合）使攻击成功率降低超过 80%。
• 该研究揭示，先前工作往往依赖于不切实际的假设，例如对客户端更新的完全控制或对模型参数的无限访问权限。
• 在现实攻击场景下，联邦学习即使没有显式防御机制，也表现出强大的内在鲁棒性。
• 所提出的新型攻击在相同现实约束条件下，相比以往方法取得了更高的成功率，确立了实际投毒攻击的新 SOTA（最先进）水平。