[论文解读] Federated Learning in Mobile Edge Computing: An Edge-Learning Perspective for Beyond 5G

Shashank Jere, Qiang Fan+3 more|arXiv (Cornell University)|Jul 15, 2020

Privacy-Preserving Technologies in Data参考文献 13被引用 8

一句话总结

本文提出了一种面向太赫兹通信网络的边缘计算辅助联邦学习框架，通过使用强化学习进行动态资源分配，并采用贪心设备选择算法优先选择数据丰富的物联网设备，联合优化通信效率与模型准确率。该框架在资源受限条件下显著降低了训练延迟并提升了全局模型准确率。

ABSTRACT

Owing to the large volume of sensed data from the enormous number of IoT devices in operation today, centralized machine learning algorithms operating on such data incur an unbearable training time, and thus cannot satisfy the requirements of delay-sensitive inference applications. By provisioning computing resources at the network edge, Mobile Edge Computing (MEC) has become a promising technology capable of collaborating with distributed IoT devices to facilitate federated learning, and thus realize real-time training. However, considering the large volume of sensed data and the limited resources of both edge servers and IoT devices, it is challenging to ensure the training efficiency and accuracy of delay-sensitive training tasks. Thus, in this paper, we design a novel edge computing-assisted federated learning framework, in which the communication constraints between IoT devices and edge servers and the effect of various IoT devices on the training accuracy are taken into account. On one hand, we employ machine learning methods to dynamically configure the communication resources in real-time to accelerate the interactions between IoT devices and edge servers, thus improving the training efficiency of federated learning. On the other hand, as various IoT devices have different training datasets which have varying influence on the accuracy of the global model derived at the edge server, an IoT device selection scheme is designed to improve the training accuracy under the resource constraints at edge servers. Extensive simulations have been conducted to demonstrate the performance of the introduced edge computing-assisted federated learning framework.

研究动机与目标

• 解决延迟敏感型物联网应用中联邦学习面临的高通信时延与边缘服务器资源受限的挑战。
• 通过根据实时信道条件动态分配无线通信资源，提升联邦学习的训练效率。
• 在边缘服务器计算与存储容量受限的条件下，通过选择本地数据集质量更高、规模更大的物联网设备，提升全局模型准确率。
• 在资源受限的移动边缘计算环境中，平衡训练速度、模型准确率与设备能量效率。

提出的方法

• 采用基于强化学习的算法，动态配置物联网设备与边缘服务器之间的通信资源（如无线资源），以最小化训练时延。
• 设计一种贪心物联网设备选择方案，根据设备的本地数据集大小及其对全局模型准确率的贡献潜力进行优先级排序。
• 在统一的边缘计算辅助联邦学习框架内集成设备选择与资源分配机制，协调分布式设备上的训练过程。
• 基于时变无线信道条件建模通信过程，并引入服务质量（QoS）约束以确保公平性与可靠性。
• 在边缘服务器端采用集中式聚合模型，将选定设备的本地模型更新整合为全局模型。
• 将优化问题建模为在边缘服务器容量与通信时延约束下的联合资源分配与设备选择问题。

实验结果

研究问题

• RQ1 在无线资源有限的动态无线环境中，如何最小化联邦学习中的通信时延？
• RQ2 当边缘服务器计算与存储容量受限时，何种设备选择策略可最大化全局模型准确率？
• RQ3 移动边缘计算的集成如何提升物联网应用中联邦学习的可扩展性与效率？
• RQ4 在资源受限的联邦学习系统中，训练速度、模型准确率与设备参与度之间存在何种权衡？

主要发现

• 所提出的基于强化学习的通信资源分配方法通过动态适应时变信道条件，显著降低了训练延迟。
• 在参与设备数量增加时，贪心设备选择算法在总感知数据贡献方面优于Best-SINR方法。
• 当设备数量较少时，贪心算法与Best-SINR方法的数据贡献相近；但随着设备数量增加，贪心算法保持更优性能。
• 通过优先选择本地数据集更大、信息量更高的设备，贪心算法提升了每轮训练的模型更新质量，从而实现更高的全局模型准确率。
• 该框架在边缘服务器容量受限条件下仍表现出更优的训练效率与准确率，验证了其在实时、延迟敏感型应用中的有效性。
• 仿真结果表明，所提框架能有效平衡动态、异构物联网环境中的通信成本、时延与模型准确率。