[论文解读] Secure Federated Learning against Model Poisoning Attacks via Client Filtering

Duygu Nur Yaldiz, Tuo Zhang+1 more|arXiv (Cornell University)|Mar 31, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出CosDefense，一种用于联邦学习的客户端过滤防御方法，通过计算全局模型最后一层权重与每个客户端本地更新之间的余弦相似度，检测并排除恶意更新。该方法在无需验证数据、攻击者数量估计或历史客户端记录的情况下，实现了稳健的性能——在MNIST数据集上达到83.37%的准确率，兼容客户端采样机制，并对数据异质性具有鲁棒性。

ABSTRACT

Given the distributed nature, detecting and defending against the backdoor attack under federated learning (FL) systems is challenging. In this paper, we observe that the cosine similarity of the last layer's weight between the global model and each local update could be used effectively as an indicator of malicious model updates. Therefore, we propose CosDefense, a cosine-similarity-based attacker detection algorithm. Specifically, under CosDefense, the server calculates the cosine similarity score of the last layer's weight between the global model and each client update, labels malicious clients whose score is much higher than the average, and filters them out of the model aggregation in each round. Compared to existing defense schemes, CosDefense does not require any extra information besides the received model updates to operate and is compatible with client sampling. Experiment results on three real-world datasets demonstrate that CosDefense could provide robust performance under the state-of-the-art FL poisoning attack.

研究动机与目标

• 为解决联邦学习中检测和防御模型中毒攻击的挑战，其中服务器无法访问原始客户端数据。
• 克服现有防御方法依赖验证数据、客户端历史记录或精确攻击者数量估计的局限性。
• 开发一种轻量级、仅在服务器端运行的防御机制，仅依赖模型更新，且兼容客户端采样。
• 提升在真实联邦学习环境中数据异质性及非独立同分布（non-iid）数据划分下的鲁棒性。
• 提供一种实用且可部署的防御机制，不依赖复杂假设或额外基础设施。

提出的方法

• 该方法计算全局模型最后一层权重与每个客户端本地更新之间的余弦相似度，以检测异常。
• 将余弦相似度得分显著高于平均值的客户端标记为潜在恶意。
• 服务器根据当前轮次所有客户端相似度得分的均值，动态设定阈值，过滤掉相似度得分超过该阈值的客户端。
• 通过当前轮次相似度得分的最小-最大归一化方法动态计算阈值。
• 仅允许相似度得分低于阈值的良性客户端通过FedAvg参与模型聚合。
• 该方法兼容客户端采样，且无需历史数据或验证集。

实验结果

研究问题

• RQ1 全局模型与本地模型最后一层权重之间的余弦相似度是否能有效检测联邦学习中的恶意更新？
• RQ2 在不同非独立同分布（non-iid）程度和客户端异质性条件下，该方法的性能如何？
• RQ3 该防御机制是否可在无需验证数据、客户端历史记录或精确攻击者数量估计的情况下运行？
• RQ4 在中毒攻击下，该方法与Krum和Clipping-Median等现有鲁棒聚合技术相比表现如何？
• RQ5 该防御机制是否与实际联邦学习系统中使用的客户端采样策略兼容？

主要发现

• 在强中毒攻击下，CosDefense在MNIST数据集上实现了83.37%的测试准确率，显著优于无防御基线（9.8%）和Krum（9.8%）。
• 在Fashion-MNIST上，CosDefense达到67.63%的准确率，超过无防御基线（10%）和Clipping-Median（21.24%）。
• 在CIFAR-10上，CosDefense实现52.02%的准确率，优于无防御基线（10%）和Clipping-Median（20.89%）。
• 该方法在不同非独立同分布数据划分水平（q = 0.1, 0.3, 0.5）下均表现出稳定性能，表明对数据异质性具有鲁棒性。
• CosDefense在无需验证数据、攻击者数量估计或历史客户端记录的情况下保持高性能，而此前方法则依赖这些条件。