[论文解读] Bandwidth Allocation for Multiple Federated Learning Services in Wireless Edge Networks

Jie Xu, Heqiang Wang+1 more|arXiv (Cornell University)|Jan 10, 2021

Privacy-Preserving Technologies in Data参考文献 41被引用 6

一句话总结

本文提出了一种用于无线边缘网络中多个共存联邦学习（FL）服务的两级带宽分配框架，通过优化服务内客户端带宽和跨服务资源共享，实现更快速的联邦学习收敛和更高的公平性，适用于异构客户端和信道条件。针对合作型提供者，设计了一种分布式算法；针对自私型提供者，提出了一种拍卖机制，实现了更快的FL收敛速度和更高的公平性。

ABSTRACT

This paper studies a federated learning (FL) system, where extit{multiple} FL services co-exist in a wireless network and share common wireless resources. It fills the void of wireless resource allocation for multiple simultaneous FL services in the existing literature. Our method designs a two-level resource allocation framework comprising \emph{intra-service} resource allocation and \emph{inter-service} resource allocation. The intra-service resource allocation problem aims to minimize the length of FL rounds by optimizing the bandwidth allocation among the clients of each FL service. Based on this, an inter-service resource allocation problem is further considered, which distributes bandwidth resources among multiple simultaneous FL services. We consider both cooperative and selfish providers of the FL services. For cooperative FL service providers, we design a distributed bandwidth allocation algorithm to optimize the overall performance of multiple FL services, meanwhile cater to the fairness among FL services and the privacy of clients. For selfish FL service providers, a new auction scheme is designed with the FL service owners as the bidders and the network provider as the auctioneer. The designed auction scheme strikes a balance between the overall FL performance and fairness. Our simulation results show that the proposed algorithms outperform other benchmarks under various network conditions.

研究动机与目标

• 填补共享无线网络中多个共存联邦学习（FL）服务无线资源分配方面的空白。
• 形式化一个两级带宽分配问题，联合优化服务内客户端分配与跨服务资源分配。
• 在保障客户端隐私的同时，确保FL服务之间的公平性，并支持动态的服务到达与退出。
• 针对合作型与自私型FL服务提供者，分别设计不同的分配机制。
• 在客户端数量和信道条件异构的条件下，平衡系统级FL性能与带宽分配的公平性。

提出的方法

• 设计两级资源分配框架：服务内（客户端级）和跨服务（FL服务级）带宽分配。
• 针对合作型提供者，开发一种分布式算法，结合凸优化与对偶分解，联合优化客户端带宽与服务公平性。
• 针对自私型提供者，提出一种新颖的拍卖机制，其中FL服务所有者竞标带宽，网络提供者作为拍卖主持人。
• 在优化中引入公平性约束，防止任一FL服务被资源饥饿。
• 将FL训练过程建模为一系列轮次，包括模型下载、本地训练和参数上传，其中带宽影响轮次持续时间。
• 采用凸松弛与迭代算法求解非凸带宽分配问题，确保收敛性与可扩展性。

实验结果

研究问题

• RQ1 如何在共享无线边缘网络中高效分配多个共存FL服务的带宽？
• RQ2 针对每个独立服务，何种最优的内服务带宽分配策略可最小化FL轮次持续时间？
• RQ3 如何设计跨服务带宽分配机制，以在整体系统性能与竞争FL服务间的公平性之间取得平衡？
• RQ4 在FL服务提供者自私且可能虚报带宽需求时，应采用何种机制确保公平性与隐私？
• RQ5 客户端异构性（数量与信道条件）如何影响所提带宽分配方案的性能？

主要发现

• 所提出的合作型提供者分布式算法相比基线方法实现了更快的FL收敛速度，尤其在客户端和信道异构性较高的情况下表现更优。
• 针对自私型提供者的拍卖机制在系统效率与公平性之间保持了良好平衡，优于简单的分配策略。
• 在10个动态FL服务的长期仿真中，所提算法将平均FL服务持续时间相比基线方法最多减少了30%。
• 随着客户端数量与信道条件异构性的增加，所提算法的性能增益也相应提升，表明其在真实场景中的鲁棒性。
• 当FL服务的平均到达间隔增加（即共存服务更少）时，平均FL持续时间下降，这是由于带宽竞争减少所致。
• 尽管异构性导致平均持续时间的标准差增加，但所提算法仍能保持更低的平均持续时间，表明其在不确定性条件下具备一致的性能表现。