[论文解读] Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning

Zhida Jiang, Yang Xu+3 more|arXiv (Cornell University)|Dec 19, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

该论文提出 FedCG，一种对异构性敏感的联邦学习框架，通过联合优化自适应客户端选择与动态梯度压缩，提升通信效率与收敛速度。通过利用子模最大化与线性规划，FedCG 在动态、异构环境中相比基线方法实现最高达 5.3× 的加速，且不损失准确性。

ABSTRACT

Federated learning (FL) allows multiple clients cooperatively train models without disclosing local data. However, the existing works fail to address all these practical concerns in FL: limited communication resources, dynamic network conditions and heterogeneous client properties, which slow down the convergence of FL. To tackle the above challenges, we propose a heterogeneity-aware FL framework, called FedCG, with adaptive client selection and gradient compression. Specifically, the parameter server (PS) selects a representative client subset considering statistical heterogeneity and sends the global model to them. After local training, these selected clients upload compressed model updates matching their capabilities to the PS for aggregation, which significantly alleviates the communication load and mitigates the straggler effect. We theoretically analyze the impact of both client selection and gradient compression on convergence performance. Guided by the derived convergence rate, we develop an iteration-based algorithm to jointly optimize client selection and compression ratio decision using submodular maximization and linear programming. Extensive experiments on both real-world prototypes and simulations show that FedCG can provide up to 5.3$ imes$ speedup compared to other methods.

研究动机与目标

• 解决现有联邦学习方法在同时处理通信效率、网络动态性与客户端异构性方面存在的局限性。
• 在带宽限制与客户端能力可变等现实约束下，提升联邦学习的收敛速度并缩短训练时间。
• 设计一种框架，根据随时间变化的客户端能力与数据异构性，自适应地选择代表性客户端并分配最优压缩比率。
• 通过多样化客户端选择减轻非独立同分布（non-IID）数据带来的偏差，确保公平性与模型质量。
• 设计客户端选择与压缩比率的联合优化策略，使其优于独立或简单组合的方法。

提出的方法

• 利用子模最大化选择一组多样化的客户端，使其整体提供具有代表性的梯度信息，最小化冗余并提升收敛性。
• 应用线性规划，根据各客户端自身的计算与通信能力，确定其最优压缩比率。
• 在每轮训练中动态调整客户端选择与压缩比率，以适应随时间变化的网络状况与客户端异构性。
• 在基于理论收敛速率分析的统一、迭代式优化框架中整合客户端选择与梯度压缩决策。
• 在参数服务器聚合压缩后的模型更新，形成下一版全局模型，保持准确性的同时降低通信开销。
• 将联合优化问题建模为一个约束最大化任务，以平衡收敛速度、通信成本与模型质量。

实验结果

研究问题

• RQ1 如何联合优化客户端选择与梯度压缩，以在联邦学习中提升通信效率与收敛速度？
• RQ2 自适应客户端选择与可变压缩比率对联邦学习收敛速率的理论影响是什么？
• RQ3 在动态与异构环境中，客户端选择与压缩的联合优化相较于独立或简单组合策略有何优势？
• RQ4 在非独立同分布（non-IID）数据设置下，自适应客户端选择与压缩能在多大程度上减少通信负载，同时保持模型准确性？
• RQ5 所提出的框架能否动态适应客户端能力与网络条件的变化，从而超越固定比率或静态选择方法？

主要发现

• 在大规模联邦学习场景中，FedCG 相较于 FedAvg、OptRate、FlexCom 与 AdaSample 等基线方法，最高实现 5.3× 的加速。
• 在 CIFAR-10 数据集上使用 AlexNet 时，FedCG 仅需 5,170 秒即可达到 70% 准确率，而 FedAvg 需 22,009 秒，实现 4.3× 的加速。
• 在不同选择客户端数量下，FedCG 相较于基准方法，网络流量消耗减少 11.2%–82.4%。
• 联合优化算法的决策开销最多仅 1.2 秒，与训练与传输时间相比可忽略不计。
• 在 CIFAR-10 上使用 AlexNet 时，FedCG 相较于独立决策与简单组合方法，收敛速度始终快 1.4–4.1×；在 CIFAR-100 上使用 ResNet9 时，收敛速度快 1.5–4.5×。
• 理论分析证实，客户端选择与压缩比率的联合优化能显著提升收敛性能，有效缓解慢速客户端效应与数据偏差。