[论文解读] BARFED: Byzantine Attack-Resistant Federated Averaging Based on Outlier Elimination

Ece Isik-Polat, Görkem Polat+1 more|arXiv (Cornell University)|Nov 8, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用 4

一句话总结

BARFED 是一种拜占庭鲁棒的联邦学习防御机制，通过基于与全局模型的距离检测异常层来识别并排除恶意模型更新。它在不依赖数据分布、更新相似性或恶意参与方比例假设的前提下，对数据和模型投毒攻击表现出强大的鲁棒性，在全面实验中优于先前方法。

ABSTRACT

In federated learning, each participant trains its local model with its own data and a global model is formed at a trusted server by aggregating model updates coming from these participants. Since the server has no effect and visibility on the training procedure of the participants to ensure privacy, the global model becomes vulnerable to attacks such as data poisoning and model poisoning. Although many defense algorithms have recently been proposed to address these attacks, they often make strong assumptions that do not agree with the nature of federated learning, such as Non-IID datasets. Moreover, they mostly lack comprehensive experimental analyses. In this work, we propose a defense algorithm called BARFED that does not make any assumptions about data distribution, update similarity of participants, or the ratio of the malicious participants. BARFED mainly considers the outlier status of participant updates for each layer of the model architecture based on the distance to the global model. Hence, the participants that do not have any outlier layer are involved in model aggregation. We perform extensive experiments on many grounds and show that the proposed approach provides a robust defense against different attacks.

研究动机与目标

• 解决联邦学习因无法观测客户端训练过程而对数据和模型投毒攻击易受威胁的问题。
• 克服现有防御方法对数据分布、更新相似性或恶意参与方比例强假设的局限性。
• 开发一种在多样化联邦学习场景（包括非独立同分布数据和不同攻击比例）下均具鲁棒性的防御机制。
• 通过避免依赖客户端数据或训练细节，确保隐私保护的聚合。

提出的方法

• 对于每个模型层，BARFED 计算每个客户端的模型更新与当前全局模型之间的距离，以检测异常值。
• 如果任一层表现出异常行为（基于预设的距离阈值），则将该客户端标记为潜在恶意。
• 仅将所有层均非异常的客户端的更新纳入全局模型聚合。
• 该方法按层独立运行，实现对恶意更新的细粒度检测，且无需对数据或更新相似性作任何假设。
• 该防御在联邦训练过程中迭代应用，能够随时间适应全局模型的变化。
• 异常检测仅基于模型权重差异，保护客户端隐私，无需访问原始数据或梯度。

实验结果

研究问题

• RQ1 是否存在一种防御机制，能够在不依赖数据分布或客户端更新相似性假设的前提下，有效检测并排除联邦学习中的恶意模型更新？
• RQ2 BARFED 在不同非独立同分布数据设置下，面对不同恶意参与方比例时表现如何？
• RQ3 与全局或客户端级聚合策略相比，基于层的异常检测是否能提升鲁棒性？
• RQ4 BARFED 是否能在多种投毒攻击下保持高模型准确率，同时兼顾隐私保护与可扩展性？

主要发现

• BARFED 在多个数据集和攻击类型（包括数据投毒和模型投毒）下均表现出稳健性能，且无需对数据分布或客户端行为作任何假设。
• 该方法通过识别异常层，能有效排除恶意更新，即使仅有少量客户端被攻破。
• 实验表明，BARFED 在不同攻击比例和非独立同分布数据划分下均保持高测试准确率，在多个基准测试中优于现有防御方法。
• 该防御对标签翻转攻击和后门攻击均具有鲁棒性，展现出对多种攻击向量的强大泛化能力。
• 通过聚焦于逐层异常检测，BARFED 避免了因良性客户端更新差异过大而产生的误报，提升了聚合的可靠性。
• 该方法计算效率高，且与标准联邦平均算法兼容，可无缝集成到现有联邦学习流程中。