[论文解读] Byzantine-Robust Clustered Federated Learning

Zhixu Tao, Kun Yang+1 more|arXiv (Cornell University)|Jun 1, 2023

HIV, Drug Use, Sexual RiskMedicine被引用 3

一句话总结

该论文提出了一种拜占庭鲁棒的迭代联邦聚类算法，能够在遭受恶意攻击的情况下联合识别非拜占庭机器的聚类并优化本地模型。通过将坐标级截尾均值和中位数聚合整合进IFCA框架，该方法在强凸性条件下实现了收敛，并优于现有方法，尤其在高维或高聚类设置下表现更优。

ABSTRACT

This paper focuses on the problem of adversarial attacks from Byzantine machines in a Federated Learning setting where non-Byzantine machines can be partitioned into disjoint clusters. In this setting, non-Byzantine machines in the same cluster have the same underlying data distribution, and different clusters of non-Byzantine machines have different learning tasks. Byzantine machines can adversarially attack any cluster and disturb the training process on clusters they attack. In the presence of Byzantine machines, the goal of our work is to identify cluster membership of non-Byzantine machines and optimize the models learned by each cluster. We adopt the Iterative Federated Clustering Algorithm (IFCA) framework of Ghosh et al. (2020) to alternatively estimate cluster membership and optimize models. In order to make this framework robust against adversarial attacks from Byzantine machines, we use coordinate-wise trimmed mean and coordinate-wise median aggregation methods used by Yin et al. (2018). Specifically, we propose a new Byzantine-Robust Iterative Federated Clustering Algorithm to improve on the results in Ghosh et al. (2019). We prove a convergence rate for this algorithm for strongly convex loss functions. We compare our convergence rate with the convergence rate of an existing algorithm, and we demonstrate the performance of our algorithm on simulated data.

研究动机与目标

• 解决联邦学习中部分机器通过发送污染更新来操纵训练的拜占庭攻击挑战。
• 即使拜占庭机器针对并破坏特定聚类，也能基于共享数据分布将非拜占庭机器鲁棒地聚类为互不相交的组别。
• 设计一种迭代算法，在对抗性条件下联合估计聚类成员身份并优化本地模型。
• 在不要求正常机器数据量相等的前提下，实现强凸损失函数的收敛，仅需每台正常机器满足最小数据点阈值。
• 通过降低对维度和聚类规模的依赖，改进先前工作，尤其在高维或大规模聚类场景下。

提出的方法

• 采用迭代联邦聚类算法（IFCA）框架，交替进行聚类分配与模型优化。
• 集成坐标级截尾均值与坐标级中位数聚合，以减轻拜占庭更新的影响。
• 利用每次迭代中损失函数的值，根据与聚类中心的相似性将非拜占庭机器分配至聚类。
• 允许拜占庭机器在3倍聚类中心处计算梯度，以生成对抗性异常值，模拟最坏情况攻击。
• 应用鲁棒聚合规则，丢弃各坐标上模型更新中的极端值，以保持收敛性。
• 在对每台正常机器的最小数据点数及最坏情况拜占庭比例作出假设的前提下，证明了在强凸性条件下的收敛性。

实验结果

研究问题

• RQ1 当部分客户端为拜占庭且主动针对特定聚类时，联邦聚类算法是否仍能保持收敛性和准确性？
• RQ2 在存在拜占庭攻击的情况下，鲁棒聚合（截尾均值/中位数）与标准FedAvg相比表现如何？
• RQ3 高维性和聚类数量增加对鲁棒联邦聚类收敛性和误差率有何影响？
• RQ4 所提算法在高维或大规模聚类场景下是否优于现有方法（如三阶段算法）？
• RQ5 在强凸性条件下，所提拜占庭鲁棒IFCA框架的理论收敛保证是什么？

主要发现

• 所提算法结合坐标级截尾均值与中位数聚合，在拜占庭攻击下对强凸损失函数实现了收敛。
• 在低维设置下（d ≤ 50），三阶段算法表现最佳，但随着维度d增加，其性能显著下降，原因在于高维下聚类效果不佳。
• 使用FedAvg的IFCA框架表现劣于所提算法，因其对拜占庭更新缺乏鲁棒性。
• 对于高维问题（d = 500）及聚类数增加（k = 2 至 15），所提算法在所有测试中持续优于使用FedAvg的IFCA框架和三阶段算法。
• 误差度量 dist = (1/k)∑‖θ̂j − θj*‖ 表明，所提算法在所有测试设置下均实现了更低的平均误差，尤其在d较大或k增加时更为显著。
• 该算法对拜占庭机器比例 α = 0.05 具有鲁棒性，并且即使所有拜占庭机器集体针对最小聚类，也能保持收敛。