[论文解读] Abnormal Client Behavior Detection in Federated Learning

Suyi Li, Yong Cheng+3 more|arXiv (Cornell University)|Oct 22, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用 111

一句话总结

本文提出了一种服务端异常检测方法，利用自编码器在联邦学习中识别异常的客户端更新并排除恶意客户端，从而在对抗基方法的情况下提高准确性。

ABSTRACT

In federated learning systems, clients are autonomous in that their behaviors are not fully governed by the server. Consequently, a client may intentionally or unintentionally deviate from the prescribed course of federated model training, resulting in abnormal behaviors, such as turning into a malicious attacker or a malfunctioning client. Timely detecting those anomalous clients is therefore critical to minimize their adverse impacts. In this work, we propose to detect anomalous clients at the server side. In particular, we generate low-dimensional surrogates of model weight vectors and use them to perform anomaly detection. We evaluate our solution through experiments on image classification model training over the FEMNIST dataset. Experimental results show that the proposed detection-based approach significantly outperforms the conventional defense-based methods.

研究动机与目标

• 动机：在联邦学习中检测异常（拜占庭）客户端的必要性，以保护模型质量和隐私。
• 提出一个基于检测的框架，使用来自自编码器重构误差的异常分数。
• 通过信誉分数实现聚合，对异常客户端进行降权或排除，同时保持收敛性。
• 证明在非-iid 的联邦设置下，检测型方法可以超越传统的基于防御的方法。

提出的方法

• 基于其异常分数和本地数据量为每个客户端分配一个信誉分数。
• 用每轮的信誉项 alpha_t+1^k 来取代 FedAvg 数据加权项以引导聚合。
• 在服务器上使用预训练的自编码器从客户端权重更新的低维代理中计算异常分数。
• 对高维模型权重应用降维，以形成自编码器的代理输入。
• 从重构误差和归一化项（方程（Eq. 5））计算异常分数 A_t+1^k。
• 可选地对异常分数进行阈值化，以对疑似异常客户端的贡献进行硬性限制。

实验结果

研究问题

• RQ1 服务端基于自编码器的异常检测在识别异常的联邦学习客户端方面有多有效？
• RQ2 在非IID数据和各种攻击下，结合基于异常的信誉分数是否能提升聚合性能，相较于传统的基于防御的方法？
• RQ3 降维对检测效能和计算可行性有何影响？
• RQ4 在定向攻击下，检测型方法相对于如 GeoMed、Krum 和 Trimmed Mean 的防御基线表现如何？

主要发现

• 在所评估的攻击中，基于检测的方法优于基于防御的方案。
• 对异常分数进行硬阈值处理可以使联合训练的模型几乎与没有攻击者的 FedAvg 相当。
• 在符号翻转攻击下，所提方法在实验中将模型精度比 GeoMed 提升 10% 以上。
• 该方法使用基于自编码器的异常检测并结合降维来处理高维模型权重。
• 在 FEMNIST 的实验表明，该方法在非IID的联邦设置下有效，具有 3,500 名写作者和每轮 20 个选定客户端。
• 阈值化与信誉分数聚合为对抗恶意或故障客户端提供稳健防御。