[论文解读] FL-Defender: Combating Targeted Attacks in Federated Learning

Najeeb Jebreel, Josep Domingo‐Ferrer|arXiv (Cornell University)|Jul 2, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

FL-Defender 是一种用于联邦学习的新型防御方法，通过分析各参与方最后层梯度的夹角相似性，检测并缓解针对的投毒攻击（如标签翻转攻击和后门攻击）。它利用主成分分析（PCA）压缩的梯度相似性特征，基于与中心点的偏离程度对更新进行重新加权，实现了最先进的攻击成功率降低，同时保持了模型准确率，并仅带来极低的计算开销。

ABSTRACT

Federated learning (FL) enables learning a global machine learning model from local data distributed among a set of participating workers. This makes it possible i) to train more accurate models due to learning from rich joint training data, and ii) to improve privacy by not sharing the workers' local private data with others. However, the distributed nature of FL makes it vulnerable to targeted poisoning attacks that negatively impact the integrity of the learned model while, unfortunately, being difficult to detect. Existing defenses against those attacks are limited by assumptions on the workers' data distribution, may degrade the global model performance on the main task and/or are ill-suited to high-dimensional models. In this paper, we analyze targeted attacks against FL and find that the neurons in the last layer of a deep learning (DL) model that are related to the attacks exhibit a different behavior from the unrelated neurons, making the last-layer gradients valuable features for attack detection. Accordingly, we propose extit{FL-Defender} as a method to combat FL targeted attacks. It consists of i) engineering more robust discriminative features by calculating the worker-wise angle similarity for the workers' last-layer gradients, ii) compressing the resulting similarity vectors using PCA to reduce redundant information, and iii) re-weighting the workers' updates based on their deviation from the centroid of the compressed similarity vectors. Experiments on three data sets with different DL model sizes and data distributions show the effectiveness of our method at defending against label-flipping and backdoor attacks. Compared to several state-of-the-art defenses, FL-Defender achieves the lowest attack success rates, maintains the performance of the global model on the main task and causes minimal computational overhead on the server.

研究动机与目标

• 为解决在非独立同分布（non-iid）数据和高维模型下检测隐蔽的针对联邦学习的投毒攻击的挑战。
• 克服现有防御方法对数据分布或参与方行为的不切实际假设所带来的局限性。
• 开发一种稳健且可扩展的防御机制，在保持全局模型在主要任务上性能的同时，将服务器端的计算成本降至最低。
• 识别深度学习模型梯度中可区分的特征，以可靠指示聚合过程中的恶意行为。

提出的方法

• 计算每个客户端最后层梯度之间的夹角相似性，以捕捉反映攻击行为的方向性模式。
• 应用主成分分析（PCA）对相似性向量进行压缩，去除冗余信息，提升特征鲁棒性。
• 计算压缩后相似性向量的中心点，作为正常行为的参考基准。
• 根据每个参与方更新与中心点的夹角偏离程度，对其模型更新进行重新加权，对异常值施加惩罚。
• 将重新加权的更新集成到 FedAvg 聚合过程中，以减轻恶意贡献的影响。
• 利用历史梯度模式动态调整信任度评分，实现对演化攻击策略的自适应防御。

实验结果

研究问题

• RQ1 在联邦训练过程中，深度学习模型的最后层梯度方向是否能揭示攻击相关神经元与良性神经元之间的可区分模式？
• RQ2 如何设计基于梯度的特征，以检测针对投毒攻击，而无需依赖对数据分布或模型规模的假设？
• RQ3 在高维和非独立同分布（non-i.i.d.）的联邦学习设置下，PCA 压缩的梯度相似性向量能在多大程度上提升检测的鲁棒性？
• RQ4 基于与中心点夹角偏离程度的重新加权机制，能否有效抑制恶意更新，同时保持良性模型性能？
• RQ5 在多种攻击场景下，FL-Defender 在效率和有效性方面与最先进防御方法相比表现如何？

主要发现

• FL-Defender 在所有评估的数据集和攻击类型中均实现了最低的攻击成功率，优于最先进防御方法。
• 在 MNIST-non-IID 数据集上，4 个攻击者参与时，FL-Defender 将攻击成功率降低至 20.6%（其他方法为 100%），同时保持 75.76% 的良性准确率。
• 在 CIFAR10-IID 数据集上，FL-Defender 实现了 12.00% 的攻击成功率和 76.10% 的良性准确率，显著优于基线方法。
• 在 CIFAR10-non-IID 数据集上，FL-Defender 将攻击成功率降低至 38.35%——相比其他方法有显著改进——同时保持 75.97% 的良性准确率。
• 该方法仅带来极低的计算开销，每次迭代的服务器端运行时间与 FoolsGold 相当，远低于其他防御方法。
• FL-Defender 在未受攻击样本上保持了高水平的全局模型性能，证明了其鲁棒性，且未降低主任务的准确率。