[论文解读] Attentive Federated Learning for Concept Drift in Distributed 5G Edge Networks

Amir Hossein Estiri, Muthucumaru Maheswaran|arXiv (Cornell University)|Nov 14, 2021

Data Stream Mining Techniques被引用 7

一句话总结

本文提出注意力联邦学习（FedAtt），通过使用注意力机制动态加权模型更新，以改善分布式5G边缘网络中的概念漂移适应能力。与FedAvg相比，FedAtt在单雾和多雾漂移场景下将平均绝对误差降低了近20%，实现了更快的适应速度和跨异构边缘节点的知识迁移，而无需从头开始重新训练。

ABSTRACT

Machine learning (ML) is expected to play a major role in 5G edge computing. Various studies have demonstrated that ML is highly suitable for optimizing edge computing systems as rapid mobility and application-induced changes occur at the edge. For ML to provide the best solutions, it is important to continually train the ML models to include the changing scenarios. The sudden changes in data distributions caused by changing scenarios (e.g., 5G base station failures) is referred to as concept drift and is a major challenge to continual learning. The ML models can present high error rates while the drifts take place and the errors decrease only after the model learns the distributions. This problem is more pronounced in a distributed setting where multiple ML models are being used for different heterogeneous datasets and the final model needs to capture all concept drifts. In this paper, we show that using Attention in Federated Learning (FL) is an efficient way of handling concept drifts. We use a 5G network traffic dataset to simulate concept drift and test various scenarios. The results indicate that Attention can significantly improve the concept drift handling capability of FL.

研究动机与目标

• 解决动态5G边缘网络中因移动性、故障或新基础设施导致数据分布不可预测地变化而引发的概念漂移挑战。
• 通过用基于注意力的动态加权替代FedAvg中的固定平均，提升概念漂移后模型的适应速度。
• 通过学习并重用其他节点观察到的漂移模式，实现在不同雾节点之间的知识迁移。
• 开发一种切换机制，以处理新雾站的接入，临时将查询路由至现有稳定模型，直至新雾站稳定。
• 在无需从头重新训练的情况下，证明对临时和永久性概念漂移的鲁棒性。

提出的方法

• 提出联邦注意力（FedAtt），作为FedAvg的变体，利用可学习的注意力权重在全局聚合过程中动态调整每个本地模型的贡献。
• 引入多头注意力机制，捕捉不同雾节点之间的漂移模式，并实现漂移知识的迁移学习。
• 采用两层全连接神经网络作为切换算法，用于分类传入的查询，并在引入新雾时将其路由至最合适的预漂移雾模型。
• 使用5G网络流量数据集模拟概念漂移，包括基站故障和临时负载变化，以评估模型性能。
• 在训练查询分类模型时应用交叉熵损失，并在新雾集成期间在测试集上评估准确率。
• 将问题形式化为持续学习任务，要求模型在适应新数据分布的同时保留先前知识。

实验结果

研究问题

• RQ1 与标准的FedAvg相比，联邦学习中的注意力机制是否能显著缩短在分布式5G边缘网络中对概念漂移的适应时间？
• RQ2 FedAtt在新雾节点经历相同漂移时，能否有效将先前遇到的概念漂移知识迁移至新节点？
• RQ3 当三个不同雾节点同时发生多个并发概念漂移时，FedAtt能否保持低误差率？
• RQ4 所提出的切换算法在新雾站接入过程中，能否以最小的用户查询中断实现高效处理？
• RQ5 FedAtt能否在无需从头重新训练的情况下处理临时概念漂移？

主要发现

• 在单雾和多雾概念漂移场景下，与FedAvg相比，FedAtt将平均绝对误差降低了近20%，证明了其优越的适应速度。
• 在另一雾节点已学习漂移模式后，模型仅需10个训练步骤即可在新雾节点适应相同的概念漂移，显示出有效的知识迁移能力。
• 在收敛后，即使在三个不同雾节点上同时发生多个概念漂移，FedAtt也能在所有雾节点上保持低误差率。
• 在新雾站部署期间，切换算法在分类传入查询并将其路由至合适预漂移模型方面实现了95%的准确率。
• FedAtt成功处理了临时概念漂移而无需重新训练，同时在适应新数据分布时保留了先前知识。
• 注意力机制相比FedAvg中的固定权重平均，能实现更快的收敛速度和更好的泛化能力，适用于动态边缘环境。