[论文解读] Efficient Federated Meta-Learning over Multi-Access Wireless Networks

Sheng Yue, Ju Ren+4 more|arXiv (Cornell University)|Aug 14, 2021

Wireless Networks and Protocols被引用 7

一句话总结

本文提出NUFM，一种用于联邦元学习的非均匀设备选择算法，通过最大化每轮全局损失减少来加速收敛。此外，还提出了URAL，一种面向多接入无线网络的联合设备选择与资源分配策略，可优化收敛速度、时钟时间与能效，相比基线方法实现最高30%的能耗降低与20%的收敛速度提升。

ABSTRACT

Federated meta-learning (FML) has emerged as a promising paradigm to cope with the data limitation and heterogeneity challenges in today's edge learning arena. However, its performance is often limited by slow convergence and corresponding low communication efficiency. In addition, since the available radio spectrum and IoT devices' energy capacity are usually insufficient, it is crucial to control the resource allocation and energy consumption when deploying FML in practical wireless networks. To overcome the challenges, in this paper, we rigorously analyze each device's contribution to the global loss reduction in each round and develop an FML algorithm (called NUFM) with a non-uniform device selection scheme to accelerate the convergence. After that, we formulate a resource allocation problem integrating NUFM in multi-access wireless systems to jointly improve the convergence rate and minimize the wall-clock time along with energy cost. By deconstructing the original problem step by step, we devise a joint device selection and resource allocation strategy to solve the problem with theoretical guarantees. Further, we show that the computational complexity of NUFM can be reduced from $O(d^2)$ to $O(d)$ (with the model dimension $d$) via combining two first-order approximation techniques. Extensive simulation results demonstrate the effectiveness and superiority of the proposed methods in comparison with existing baselines.

研究动机与目标

• 解决因设备选择均匀导致联邦元学习（FML）收敛缓慢与通信效率低下的问题。
• 应对多接入无线边缘网络中收敛速度、时钟时间与能耗之间的权衡问题。
• 设计一种联合设备选择与资源分配策略，综合考虑设备异构性、信道条件及有限的无线与能量资源。
• 通过应用一阶近似技术，在不牺牲收敛性能的前提下降低物联网设备的计算复杂度。
• 为实际无线FML部署中的收敛性与资源分配优化提供理论保证。

提出的方法

• 通过推导每轮全局损失减少的紧下界，提出NUFM，实现非均匀设备选择，以最大化该下界。
• 构建联合优化问题，将NUFM与CPU周期频率控制及资源块（RB）分配相结合，以最小化时钟时间与能耗。
• 将原始的非凸混合整数非线性规划（MINLP）问题分解为两个子问题：计算时间最小化与RB/功率分配优化。
• 利用考虑设备异构性与计算负载的解析解，优化CPU周期频率。
• 设计一种迭代算法求解非凸RB分配与功率控制子问题，确保收敛并具备理论保证。
• 集成两种一阶近似技术，将NUFM的计算复杂度从$O(d^2)$降低至$O(d)$，其中$d$为模型维度。

实验结果

研究问题

• RQ1 如何优化联邦元学习中的设备选择，以超越均匀随机选择，实现更快收敛？
• RQ2 设备异构性、信道质量与资源块分配对无线FML系统中时钟时间与能耗有何影响？
• RQ3 能否通过联合优化设备选择、CPU周期频率与传输功率，实现收敛速度、延迟与能效之间的更好权衡？
• RQ4 在有限带宽或较差信道条件等无线资源受限条件下，所提方法表现如何？
• RQ5 在不降低FML收敛性能的前提下，边缘设备的计算复杂度可降低至何种程度？

主要发现

• URAL在收敛速度上与贪婪选择方法（如NUFM-Greedy）相当，同时相比基线方法，时钟时间与能耗降低最高达30%。
• 当资源块（RB）数量从1增至50时，时钟时间保持稳定，表明对资源可用性具有鲁棒性。
• 收敛速度并非随RB数量增加而单调递减；相反，其在中等数量设备被选定时达到峰值，证实了信息多样性与每轮损失减少之间存在最优权衡。
• 信道质量提升（$h^{ ext{max}}$更高）可降低传输功率与时钟时间，且在良好信道条件下能耗显著下降。
• 调节权重参数$ heta_1$与$ heta_2$可显式控制能耗与延迟之间的权衡——$ heta_1$越高，能耗越低，但时钟时间越长，反之亦然。
• 所提一阶近似技术将NUFM的计算复杂度从$O(d^2)$降低至$O(d)$，使其实现对资源受限的物联网设备的实用部署，且不牺牲收敛性能。