[论文解读] Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates

Zhuohang Li, Luyang Liu+2 more|arXiv (Cornell University)|Jul 3, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出了一种拜占庭鲁棒联邦学习方法，通过分析本地模型更新的时空特性来检测并过滤恶意客户端。通过结合基于聚类的空间检测与基于动量的时间学习率自适应机制，该方法在无需客户端身份或数据分布知识的前提下，实现了对静态攻击和时变耦合攻击的最先进鲁棒性，在MNIST和CIFAR-10数据集上于多种攻击场景下均优于现有方法。

ABSTRACT

Federated Learning (FL) enables multiple distributed clients (e.g., mobile devices) to collaboratively train a centralized model while keeping the training data locally on the client. Compared to traditional centralized machine learning, FL offers many favorable features such as offloading operations which would usually be performed by a central server and reducing risks of serious privacy leakage. However, Byzantine clients that send incorrect or disruptive updates due to system failures or adversarial attacks may disturb the joint learning process, consequently degrading the performance of the resulting model. In this paper, we propose to mitigate these failures and attacks from a spatial-temporal perspective. Specifically, we use a clustering-based method to detect and exclude incorrect updates by leveraging their geometric properties in the parameter space. Moreover, to further handle malicious clients with time-varying behaviors, we propose to adaptively adjust the learning rate according to momentum-based update speculation. Extensive experiments on 4 public datasets demonstrate that our algorithm achieves enhanced robustness comparing to existing methods under both cross-silo and cross-device FL settings with faulty/malicious clients.

研究动机与目标

• 为应对拜占庭客户端干扰联邦学习的问题，通过在不掌握客户端数据或身份信息的前提下检测并过滤恶意更新，实现鲁棒性提升。
• 通过将时间动态特性整合到聚合过程中，提升对时变及复杂攻击（如IPM和ALiE）的鲁棒性。
• 在高故障率和非独立同分布（non-IID）数据分布条件下，保持跨设备和跨边缘联邦学习设置下的高模型准确率与收敛稳定性。
• 通过避免在检测与聚合过程中追踪客户端身份或访问私有数据，保护客户端隐私。

提出的方法

• 利用本地模型更新之间的余弦相似度识别参数空间中的几何异常，实现基于聚类的恶意更新检测。
• 采用k-means聚类方法对更新进行分组，并过滤掉与主簇显著偏离的离群点。
• 采用基于动量的更新推测机制，利用历史数据估计预期的全局模型更新，实现学习率的自适应调整。
• 通过比较实际客户端更新与推测更新，动态调整学习率，提升对时变对抗行为的鲁棒性。
• 将空间检测与时间自适应整合为统一的聚合规则，且无需依赖客户端身份或数据分布假设。
• 支持与现有隐私保护技术（如安全混洗和差分隐私）的集成。

实验结果

研究问题

• RQ1 在不访问客户端身份或数据分布信息的前提下，基于参数空间中模型更新的聚类能否有效检测拜占庭客户端？
• RQ2 基于动量的更新推测在动态联邦学习环境中，对适应时变对抗行为的动态学习率调整有多有效？
• RQ3 在高故障率（高达34%）和非独立同分布数据分布条件下，该方法能否维持模型的收敛性与准确性？
• RQ4 在IPM和ALiE等先进时序耦合攻击下，该方法表现如何？这些攻击可能绕过传统鲁棒聚合规则。
• RQ5 该方法在实现与现有拜占庭鲁棒联邦学习方法相当或更优的鲁棒性的同时，能在多大程度上保护隐私？

主要发现

• 在CIFAR-10数据集上，该方法在强标签翻转攻击下仅导致3.53%的测试误差增加，与无攻击基线水平相当，而其他方法则无法收敛。
• 在最多34%恶意客户端的实验中，该方法在24组设置中的17组中取得了最低测试误差，当其他方法略胜时，误差差异也小于0.1%。
• 在IPM攻击下，该方法在MNIST和CIFAR-10上均保持最低测试误差，Krum方法误差增加达18.70%，而该方法仅增加10.10%，最接近无攻击基线。
• 在ALiE攻击下，Krum和修剪均值方法完全发散，而该方法保持稳定并取得最低测试误差，CIFAR-10上仅增加4.46%的误差。
• 在100个客户端（34%恶意）的非独立同分布设置下，该方法表现出最稳定的收敛曲线，优于FedAvg、Krum、Median和Trimmed Mean，后者或无法收敛或收敛缓慢。
• 该方法在跨边缘（cross-silo）和跨设备（cross-device）联邦学习设置中均表现出鲁棒性能，展示了在多样化攻击与系统条件下的泛化能力与可扩展性。