[论文解读] FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems

Li Li, Moming Duan+6 more|arXiv (Cornell University)|Apr 15, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用 4

一句话总结

FedSAE 提出了一种自适应联邦学习框架，根据历史训练表现动态调整客户端工作负载，并利用主动学习选择高价值客户端，显著减少异构系统中的落后客户端（stragglers），提升全局模型准确率。与 FedAvg 相比，其平均测试准确率提高 26.7%，掉线率降低 90.3%。

ABSTRACT

Federated Learning (FL) is a novel distributed machine learning which allows thousands of edge devices to train model locally without uploading data concentrically to the server. But since real federated settings are resource-constrained, FL is encountered with systems heterogeneity which causes a lot of stragglers directly and then leads to significantly accuracy reduction indirectly. To solve the problems caused by systems heterogeneity, we introduce a novel self-adaptive federated framework FedSAE which adjusts the training task of devices automatically and selects participants actively to alleviate the performance degradation. In this work, we 1) propose FedSAE which leverages the complete information of devices' historical training tasks to predict the affordable training workloads for each device. In this way, FedSAE can estimate the reliability of each device and self-adaptively adjust the amount of training load per client in each round. 2) combine our framework with Active Learning to self-adaptively select participants. Then the framework accelerates the convergence of the global model. In our framework, the server evaluates devices' value of training based on their training loss. Then the server selects those clients with bigger value for the global model to reduce communication overhead. The experimental result indicates that in a highly heterogeneous system, FedSAE converges faster than FedAvg, the vanilla FL framework. Furthermore, FedSAE outperforms than FedAvg on several federated datasets - FedSAE improves test accuracy by 26.7% and reduces stragglers by 90.3% on average.

研究动机与目标

• 解决因系统异构性导致的联邦学习性能下降问题，其中设备资源差异引发落后客户端和收敛缓慢。
• 设计一种隐私保护方法，仅利用公开的训练历史，避免收集敏感的硬件信息。
• 基于历史训练的可靠性和性能，实现客户端的自适应工作负载分配。
• 通过集成主动学习，选择高价值客户端参与训练，加速全局模型收敛。
• 在客户端能力动态变化的真实联邦学习环境中，提升模型准确率并降低通信开销。

提出的方法

• 提出 FedSAE-Ira 和 FedSAE-Fassa 两种自适应算法，利用历史训练数据预测每个客户端可承担的训练工作量。
• 采用基于移动平均的工作量预测模型，结合历史训练损失和收敛模式，估算客户端的可靠性。
• 提出一种基于主动学习的动态客户端选择机制，服务器选择训练价值更高（损失更低）的客户端以提升全局模型质量。
• 使用平滑指数 α = 0.95 和增量参数 γ₁ = 3、γ₂ = 1，以调节工作量预测的准确性和适应性。
• 将工作量预测与主动学习相结合，同时减少落后客户端并加速收敛。
• 仅依赖公开的训练历史——不依赖私有的设备规格信息——确保隐私保护。

实验结果

研究问题

• RQ1 联邦学习系统如何在不依赖私有硬件信息的前提下，动态适应异构客户端的训练工作量？
• RQ2 基于历史训练表现的工作量预测，能在多大程度上降低联邦学习中的落后率？
• RQ3 将主动学习与工作量自适应相结合，能否在保持高准确率的同时加速全局模型收敛？
• RQ4 在高系统异构性条件下，所提出的自适应框架与 FedAvg 相比，在准确率和训练效率方面表现如何？
• RQ5 在客户端选择阶段使用主动学习时，收敛速度与最终模型准确率之间是否存在最优平衡？

主要发现

• FedSAE 在多个联邦学习数据集上，平均测试准确率相比 FedAvg 提高 26.7%。
• 该框架平均将落后率降低 90.3%，显著缓解了因慢速客户端导致的性能下降。
• FedSAE-Fassa 由于更有效地利用历史训练模式，相比 FedSAE-Ira 进一步将落后率降低 96.3%。
• 主动学习的集成使收敛速度平均加快至少 23.5%，其中 FedSAE-Ira+AL200 达到最快收敛速率。
• 主动学习的使用略微降低了最终准确率（在 FEMNIST 上最高降低 2.3%，在 MNIST 上最高降低 0.7%），表明存在速度与精度之间的权衡。
• 在 FEMNIST 上，FedSAE-Ira+AL200 在 48 轮内达到 60% 测试准确率，而 FedAvg 在 E=15 条件下仅需 30 轮即可达到相同准确率，表明收敛速度显著加快。