[论文解读] Dynamic Federated Learning Model for Identifying Adversarial Clients.

Nuria Rodríguez-Barroso, Eugenio Martínez‐Cámara+4 more|arXiv (Cornell University)|Jul 29, 2020

Privacy-Preserving Technologies in Data参考文献 48被引用 13

一句话总结

本文提出一种动态联邦学习模型，通过实时客户端选择识别并剔除对抗性客户端，从而提升全局模型的鲁棒性。通过过滤掉数据分布差或标签恶意的客户端，该方法提高了分类准确率，减少了训练轮次，并有效抵御了在EMNIST和Fashion MNIST数据集上的数据中毒攻击。

ABSTRACT

Federated learning, as a distributed learning that conducts the training on the local devices without accessing to the training data, is vulnerable to dirty-label data poisoning adversarial attacks. We claim that the federated learning model has to avoid those kind of adversarial attacks through filtering out the clients that manipulate the local data. We propose a dynamic federated learning model that dynamically discards those adversarial clients, which allows to prevent the corruption of the global learning model. We evaluate the dynamic discarding of adversarial clients deploying a deep learning classification model in a federated learning setting, and using the EMNIST Digits and Fashion MNIST image classification datasets. Likewise, we analyse the capacity of detecting clients with poor data distribution and reducing the number of rounds of learning by selecting the clients to aggregate. The results show that the dynamic selection of the clients to aggregate enhances the performance of the global learning model, discards the adversarial and poor clients and reduces the rounds of learning.

研究动机与目标

• 解决联邦学习在面对恶意客户端发起的脏标签数据中毒攻击时的脆弱性问题。
• 开发一种动态机制，在聚合过程中识别并排除对抗性或数据分布不良的客户端。
• 通过仅选择高质量客户端进行全局模型更新，减少训练轮次。
• 在存在恶意或低质量数据贡献的情况下，提升全局模型的鲁棒性和性能。

提出的方法

• 在联邦聚合过程中采用动态客户端选择机制，排除数据可疑或质量差的客户端。
• 基于数据分布质量和模型更新一致性评估客户端贡献，以检测对抗行为。
• 通过过滤机制剔除与全局模型预期行为显著偏离或表现出数据中毒迹象的客户端。
• 在全局模型聚合前，通过实时监控客户端更新来评估其可靠性。
• 在EMNIST Digits和Fashion MNIST数据集上使用深度学习分类模型，评估在对抗条件下的性能表现。
• 通过优先选择可靠客户端减少训练轮次，提升收敛速度和模型准确率。

实验结果

研究问题

• RQ1 在联邦学习环境中，如何有效检测并排除对抗性客户端？
• RQ2 动态客户端选择在多大程度上提升了全局模型对数据中毒攻击的鲁棒性？
• RQ3 过滤掉数据分布不良的客户端是否能减少所需训练轮次？
• RQ4 与标准联邦学习相比，该动态模型在准确率和收敛性方面表现如何？

主要发现

• 对客户端的动态选择显著提升了全局学习模型在EMNIST Digits和Fashion MNIST数据集上的性能。
• 该模型成功识别并剔除了试图发起数据中毒攻击的对抗性客户端。
• 数据分布不良的客户端被有效过滤，提升了模型的泛化能力和稳定性。
• 由于高质量客户端更新的聚合更加高效，训练轮次数量得以减少。
• 即使在对抗条件下，该方法仍能保持高分类准确率。
• 动态过滤机制在无需事先知晓恶意客户端的情况下，提升了收敛速度和鲁棒性。