[论文解读] Survey on Federated Learning Threats: concepts, taxonomy on attacks and defences, experimental study and challenges

Nuria Rodríguez-Barroso, Daniel Jiménez López+3 more|arXiv (Cornell University)|Jan 20, 2022

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本综述对联邦学习（FL）中的对抗性威胁提供了全面分析，提出了横向、纵向及联邦迁移学习中攻击与防御的统一分类体系。通过实验评估对比了攻击强度与防御鲁棒性，为选择防御策略和识别隐私、非独立同分布（non-IID）数据及防御权衡中的关键挑战提供了可操作的指导。

ABSTRACT

Federated learning is a machine learning paradigm that emerges as a solution to the privacy-preservation demands in artificial intelligence. As machine learning, federated learning is threatened by adversarial attacks against the integrity of the learning model and the privacy of data via a distributed approach to tackle local and global learning. This weak point is exacerbated by the inaccessibility of data in federated learning, which makes harder the protection against adversarial attacks and evidences the need to furtherance the research on defence methods to make federated learning a real solution for safeguarding data privacy. In this paper, we present an extensive review of the threats of federated learning, as well as as their corresponding countermeasures, attacks versus defences. This survey provides a taxonomy of adversarial attacks and a taxonomy of defence methods that depict a general picture of this vulnerability of federated learning and how to overcome it. Likewise, we expound guidelines for selecting the most adequate defence method according to the category of the adversarial attack. Besides, we carry out an extensive experimental study from which we draw further conclusions about the behaviour of attacks and defences and the guidelines for selecting the most adequate defence method according to the category of the adversarial attack. This study is finished leading to meditated learned lessons and challenges.

研究动机与目标

• 解决当前缺乏涵盖联邦学习中模型完整性与隐私攻击的综合性综述的问题。
• 为横向、纵向及联邦迁移学习中的对抗性攻击及其对应防御机制构建全面的分类体系。
• 基于攻击类别，提供选择合适防御策略的实用指导。
• 在统一框架下开展实验研究，评估攻击强度与防御鲁棒性。
• 识别开放性挑战与经验教训，以指导未来联邦学习系统安全研究。

提出的方法

• 基于攻击目标（模型完整性、隐私泄露）、攻击面（模型权重、梯度、数据）和攻击类型（逃避攻击、投毒攻击、成员推断、模型反演）提出多维对抗性攻击分类体系。
• 根据方法将防御机制分类为：数据过滤、噪声注入、差分隐私、鲁棒聚合与模型正则化，构建对应分类体系。
• 实现标准化实验框架，对基准联邦学习数据集上的代表性攻击（如标签翻转、数据投毒、模型反演）和防御（如带鲁棒聚合的FedAvg、DP-SGD、客户端过滤）进行评估。
• 使用测试准确率在攻击下的下降程度及隐私泄露指标（如成员推断成功率）来比较攻击有效性与防御韧性。
• 应用适配非独立同分布数据分布的异常检测技术，无需依赖数据分布假设即可识别恶意客户端。
• 将研究发现整合为基于攻击类型与系统约束的可操作防御选择指导。

实验结果

研究问题

• RQ1 如何在不同联邦学习变体（横向、纵向、联邦迁移学习）和攻击目标下，系统性地对联邦学习中的对抗性攻击进行分类？
• RQ2 在联邦学习中，针对模型完整性与隐私保护攻击，最有效的防御机制是什么？它们在鲁棒性与性能影响方面如何比较？
• RQ3 现有防御措施在非独立同分布数据环境下，能在多大程度上保持模型效用并抵御多样化对抗威胁？
• RQ4 在非独立同分布联邦学习环境中，如何有效区分恶意客户端与数据分布高度偏斜但合法的客户端？
• RQ5 未来联邦学习系统应如何设计，以原生集成安全与隐私作为跨功能需求，同时兼顾个性化与公平性等特性？

主要发现

• 实验研究表明，数据投毒攻击显著降低模型准确率，在非独立同分布设置下，标签翻转攻击可使测试准确率最高下降30%。
• 基于鲁棒聚合的防御（如Krum、Trimmed Mean）相比标准FedAvg对投毒攻击表现出更高鲁棒性，但当超过30%的客户端为恶意时性能显著下降。
• 基于差分隐私的防御可将成员推断攻击成功率降低50%以上，但因高噪声注入导致模型准确率下降10%–15%。
• 结合客户端过滤与基于梯度的异常检测可提升非独立同分布场景下的防御鲁棒性，但可能误排除数据分布偏斜但合法的客户端。
• 单一防御无法在所有攻击类型下均有效；最优安全性需结合多种针对特定攻击类别的防御策略。
• 主要挑战仍在于隐私保护与模型效用之间的权衡，尤其在DP等隐私保护防御中，噪声添加会显著损害性能。