[论文解读] Learning to Detect Malicious Clients for Robust Federated Learning
这篇论文在服务器端引入一个光谱异常检测框架，以识别并移除联邦学习中的恶意客户端更新，防御非目标型（Byzantine）和目标型（backdoor）攻击。
Federated learning systems are vulnerable to attacks from malicious clients. As the central server in the system cannot govern the behaviors of the clients, a rogue client may initiate an attack by sending malicious model updates to the server, so as to degrade the learning performance or enforce targeted model poisoning attacks (a.k.a. backdoor attacks). Therefore, timely detecting these malicious model updates and the underlying attackers becomes critically important. In this work, we propose a new framework for robust federated learning where the central server learns to detect and remove the malicious model updates using a powerful detection model, leading to targeted defense. We evaluate our solution in both image classification and sentiment analysis tasks with a variety of machine learning models. Experimental results show that our solution ensures robust federated learning that is resilient to both the Byzantine attacks and the targeted model poisoning attacks.
研究动机与目标
- 通过解决可能降低或污染模型的恶意客户端更新，来推动鲁棒的联邦学习。
- 提出一个光谱异常检测框架，用于在低维嵌入中检测恶意更新。
- 展示检测并移除恶意更新在不同任务和模型上实现鲁棒性能的证据。
提出的方法
- 使用变分自编码器（VAE）将模型更新嵌入到一个低维潜在空间。
- 用公共数据对正常（无偏）更新训练VAE，使重构误差成为异常检测的依据。
- 在服务器端按轮次应用动态阈值以决定舍弃哪些客户端更新。
- 仅聚合 benign 更新，按本地数据规模进行 FedAvg 风格加权。
- 通过对恶意更新影响的线性模型分析给出理论直觉（定理1）。
- 在图像分类和情感任务上与标准防御（GeoMed、Krum）进行基准比较。
实验结果
研究问题
- RQ1在非独立同分布数据下，光谱异常检测能否在FL中将恶意更新与良性更新区分开来？
- RQ2检测并移除恶意更新是否提升在不同架构和数据集上的鲁棒性，针对非目标型和后门攻击？
- RQ3与现有的拜占庭鲁棒聚合器相比，该方法在实际应用中的表现如何？
主要发现
- 所提出的方法在 MNIST、FEMNIST 和 Sentiment140 上，对符号翻转、加性噪声和后门攻击具有比基线更强的鲁棒性。
- 检测模型在区分良性与恶意客户端方面获得高 F1 分数（F1：FEMNIST 1.00/0.97/0.87；MNIST 1.00/0.99/1.00；Sentiment140 1.00/1.00/0.93）。
- 基于重构误差的动态阈值能够在无需每轮手动调参的情况下有效移除恶意更新。
- 该方法在保持类似于 FedAvg 的收敛特性的同时，提供针对性防御。
- 与 Krum、GeoMed 相比，该方法在多个数据集上对目标型后门攻击提供更强的防护。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。