[论文解读] Asynchronous Online Federated Learning for Edge Devices.

Yujing Chen, Yue Ning+1 more|arXiv (Cornell University)|Nov 5, 2019

Privacy-Preserving Technologies in Data参考文献 40被引用 48

一句话总结

本文提出异步在线联邦学习（ASO-fed），一种使边缘设备能够处理连续数据流并实现在线学习的框架，同时允许中央服务器异步地利用异构设备的贡献来更新全局模型。通过将模型聚合与训练同步解耦，ASO-fed降低了训练成本，并在设备异构性和设备掉线的情况下仍保持高性能。

ABSTRACT

Federated learning (FL) is a machine learning paradigm where a shared central model is learned across multiple distributed client devices while the training data remains on edge devices or local clients. Most prior work on federated learning uses Federated Averaging (FedAvg) as an optimization method for training in a synchronized fashion. This involves independent training at multiple edge devices with synchronous aggregation steps. However, the assumptions made by FedAvg are not realistic given the heterogeneity of devices. In particular, the volume and distribution of collected data vary in the training process due to different sampling rates of edge devices. The edge devices themselves also vary in their available communication bandwidth and system configurations, such as memory, processor speed, and power requirements. This leads to vastly different training times as well as model/data transfer times. Furthermore, availability issues at edge devices can lead to a lack of contribution from specific edge devices to the federated model. In this paper, we present an Asynchronous Online Federated Learning (ASO- fed) framework, where the edge devices perform online learning with continuous streaming local data and a central server aggregates model parameters from local clients. Our framework updates the central model in an asynchronous manner to tackle the challenges associated with both varying computational loads at heterogeneous edge devices and edge devices that lag behind or dropout. Experiments on three real-world datasets show the effectiveness of ASO-fed on lowering the overall training cost and maintaining good prediction performance.

研究动机与目标

• 为解决在具有异构设备的真实边缘环境中，同步联邦平均（FedAvg）方法存在的局限性。
• 通过支持异步聚合，降低联邦学习中的训练成本并提升模型收敛性能。
• 支持边缘设备在流式数据下实现持续在线学习，避免严格的同步周期。
• 在设备可用性变化、计算负载波动和通信延迟等情况下，仍能保持高性能预测能力。

提出的方法

• ASO-fed 在边缘设备上采用在线学习机制，模型随新数据的到来逐步更新。
• 中央服务器以异步方式聚合客户端的模型更新，实现聚合与训练周期的解耦。
• 根据客户端的贡献程度和更新时间对模型更新进行加权，以考虑数据质量差异和设备可靠性。
• 通过维护一个持续演化的持久化全局模型，动态应对设备掉线和可变通信延迟。
• 采用参数服务器架构，支持客户端更新的实时、事件驱动式聚合。
• 通过避免同步瓶颈，支持计算能力、内存和带宽各异的异构边缘设备。

实验结果

研究问题

• RQ1 与同步 FedAvg 相比，联邦学习中的异步聚合对收敛性和模型准确率有何影响？
• RQ2 在数据和系统异构性条件下，边缘设备上的在线学习是否能提升训练效率？
• RQ3 当设备掉线或更新频率不一致时，ASO-fed 在训练成本和模型性能方面表现如何？
• RQ4 在真实边缘场景中，异步聚合对模型稳定性和收敛速度有何影响？
• RQ5 ASO-fed 如何应对异构边缘设备间的数据分布差异和通信延迟？

主要发现

• ASO-fed 通过消除同步开销并适应设备可用性的波动，显著降低了整体训练成本。
• 尽管存在设备异构性和掉线情况，该框架在三个真实世界数据集上仍保持了高性能的预测能力。
• 异步聚合相比同步 FedAvg 实现了更快的收敛速度，并更高效地利用了边缘设备资源。
• 即使部分设备贡献频率较低或更新延迟较高，模型仍能保持稳定性能。
• 系统能有效处理边缘设备的流式数据，支持持续学习而无需重新训练周期。
• 实验结果证实，在真实边缘环境下，ASO-fed 在训练效率和模型准确率方面均优于 FedAvg。