[论文解读] Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets

Yanjie Dong, Georgios B. Giannakis+4 more|arXiv (Cornell University)|Jun 17, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用 13

一句话总结

该论文提出了一种通信高效、拜占庭鲁棒的联邦学习算法（FRPG及其局部变体LFRPG），利用Nesterov加速技术在数据异构性和故障工作者数量未知的情况下实现更快的收敛速度。该方法在减少通信开销的同时，对对抗性数据污染保持鲁棒性，其收敛速度在强凸损失下被证明快于基准的鲁棒随机聚合方法。

ABSTRACT

This work investigates fault-resilient federated learning when the data samples are non-uniformly distributed across workers, and the number of faulty workers is unknown to the central server. In the presence of adversarially faulty workers who may strategically corrupt datasets, the local messages exchanged (e.g., local gradients and/or local model parameters) can be unreliable, and thus the vanilla stochastic gradient descent (SGD) algorithm is not guaranteed to converge. Recently developed algorithms improve upon vanilla SGD by providing robustness to faulty workers at the price of slowing down convergence. To remedy this limitation, the present work introduces a fault-resilient proximal gradient (FRPG) algorithm that relies on Nesterov's acceleration technique. To reduce the communication overhead of FRPG, a local (L) FRPG algorithm is also developed to allow for intermittent server-workers parameter exchanges. For strongly convex loss functions, FRPG and LFRPG have provably faster convergence rates than a benchmark robust stochastic aggregation algorithm. Moreover, LFRPG converges faster than FRPG while using the same communication rounds. Numerical tests performed on various real datasets confirm the accelerated convergence of FRPG and LFRPG over the robust stochastic aggregation benchmark and competing alternatives.

研究动机与目标

• 解决在数据在工作者之间非均匀分布且故障工作者数量未知时，故障容错联邦学习的挑战。
• 在不牺牲对拜占庭攻击的鲁棒性前提下，提升鲁棒联邦学习的收敛速度。
• 在保持对恶意工作者的鲁棒性的同时，减少联邦学习中的通信开销。
• 开发一种在强凸损失函数下收敛速度被证明快于现有鲁棒随机聚合方法的算法。

提出的方法

• 提出一种基于Nesterov加速技术的故障容错近端梯度（FRPG）算法，以在存在拜占庭工作者的情况下提升收敛速度。
• 开发一种局部变体（LFRPG），允许服务器与工作者之间间歇性交换参数，从而减少通信轮次。
• 采用分量级中位数聚合方法，过滤掉故障工作者的不可靠梯度。
• 利用李雅普诺夫分析和递归不等式推导FRPG和LFRPG的收敛速率，建立以初始误差、梯度方差和步长参数为变量的边界。
• 基于问题特定常数（如δn, σn², λ, G）引入自适应步长规则，确保在非独立同分布数据下的收敛性。
• 使用过去模型和梯度的加权平均来稳定更新，并在存在对抗性扰动时提升鲁棒性。

实验结果

研究问题

• RQ1 Nesterov加速能否有效集成到鲁棒联邦学习中，以在数据异构性和拜占庭故障下提升收敛速度？
• RQ2 如何在不损害收敛性或鲁棒性的前提下，提升拜占庭鲁棒联邦学习的通信效率？
• RQ3 在强凸损失函数下，对于非独立同分布数据和未知故障工作者数量的情况，故障容错近端梯度方法的理论收敛速率是多少？
• RQ4 与完整FRPG相比，局部变体（LFRPG）在收敛速度和通信效率方面表现如何？
• RQ5 所提方法能否在收敛速率和鲁棒性方面优于现有鲁棒随机聚合基准？

主要发现

• FRPG在强凸损失函数下的收敛速率为O(1/(K+2)²)，被证明快于基准鲁棒随机聚合算法。
• LFRPG在使用相同通信轮次的情况下收敛速度快于FRPG，这是由于其局部更新机制。
• FRPG的收敛速率受初始误差、梯度方差和问题特定常数的约束，且额外包含O(λ²B²G/δ₀)项以表示残差误差。
• LFRPG在迭代平均值上的收敛界为O(1/T(I+2)²)，明确依赖于初始距离最优解的距离和梯度噪声。
• 在真实数据集上的数值实验表明，FRPG和LFRPG的收敛速度均快于鲁棒随机聚合基准及其他竞争算法。
• 当超过50%的工作者为故障时，只要聚合机制能有效过滤对抗性更新，该方法仍保持鲁棒性。