[论文解读] Optimized Power Control Design for Over-the-Air Federated Edge Learning

Xiaowen Cao, Guangxu Zhu+3 more|arXiv (Cornell University)|Jun 17, 2021

Privacy-Preserving Technologies in Data参考文献 52被引用 12

一句话总结

本文提出了一种新型的空中联邦边缘学习（Air-FEEL）功率控制设计，通过直接最小化信道衰落和噪声引起的最优性差距，从而直接最大化收敛速度。通过建模聚合误差并利用拉格朗日对偶性进行凸优化，该方法在收敛速度上优于固定功率或MSE最小化方法，其解具有正则化信道逆的结构。

ABSTRACT

This paper investigates the transmission power control in over-the-air federated edge learning (Air-FEEL) system. Different from conventional power control designs (e.g., to minimize the individual mean squared error (MSE) of the over-the-air aggregation at each round), we consider a new power control design aiming at directly maximizing the convergence speed. Towards this end, we first analyze the convergence behavior of Air-FEEL (in terms of the optimality gap) subject to aggregation errors at different communication rounds. It is revealed that if the aggregation estimates are unbiased, then the training algorithm would converge exactly to the optimal point with mild conditions; while if they are biased, then the algorithm would converge with an error floor determined by the accumulated estimate bias over communication rounds. Next, building upon the convergence results, we optimize the power control to directly minimize the derived optimality gaps under both biased and unbiased aggregations, subject to a set of average and maximum power constraints at individual edge devices. We transform both problems into convex forms, and obtain their structured optimal solutions, both appearing in a form of regularized channel inversion, by using the Lagrangian duality method. Finally, numerical results show that the proposed power control policies achieve significantly faster convergence for Air-FEEL, as compared with benchmark policies with fixed power transmission or conventional MSE minimization.

研究动机与目标

• 为解决在空中联邦边缘学习（Air-FEEL）中，信道衰落和噪声引起的聚合误差所导致的通信效率与学习性能之间的权衡问题。
• 将设计目标从最小化个体均方误差（MSE）转变为直接最大化学习过程的收敛速度。
• 设计一种功率控制策略，在平均功率和峰值功率约束下，最小化无偏和有偏聚合条件下的最优性差距。
• 利用拉格朗日对偶性推导凸优化形式与最优解，从而实现在边缘网络中的实际部署。

提出的方法

• 本文以最优性差距来建模Air-FEEL的收敛行为，表明在温和条件下，无偏聚合可实现精确收敛，而有偏聚合则导致误差底限。
• 提出两个优化问题：一个是在无偏聚合约束下最小化最优性差距，另一个是无此约束，两者均受平均功率和峰值功率限制。
• 通过拉格朗日对偶性将问题转化为凸形式，从而推导出最优对偶变量和原始解。
• 最优功率控制策略被推导为正则化信道逆，其中正则化项综合考虑了信道统计特性和功率约束。
• 求解过程通过次梯度法求解对偶问题，对偶变量通过对偶函数的次梯度进行更新。
• 该方法确保强对偶性并收敛至最优解，且每轮通信中功率标定因子均有闭式表达。

实验结果

研究问题

• RQ1 信道衰落和噪声引起的聚合误差如何影响Air-FEEL的收敛性，特别是在最优性差距方面？
• RQ2 有偏与无偏梯度聚合对学习算法最终收敛点有何影响？
• RQ3 一种直接最小化最优性差距的功率控制策略是否能优于传统的MSE最小化或固定功率方案？
• RQ4 在平均功率和峰值功率约束下，如何将功率控制问题建模并求解为凸优化问题？
• RQ5 在不同聚合误差模型下，最优功率控制策略的结构形式为何？

主要发现

• 所提出的功率控制策略在Air-FEEL中相比固定发射功率或传统MSE最小化基准方案，实现了显著更快的收敛速度。
• 在无偏聚合条件下，当条件温和时，学习算法可精确收敛至最优解，从而消除收敛误差底限。
• 当聚合估计存在偏差时，算法收敛至一个具有由通信轮次中累积偏差决定的误差底限的点。
• 最优功率控制策略被推导为正则化信道逆，其中正则化项在信道质量与功率约束之间实现平衡。
• 该解结构具有鲁棒性和可扩展性，功率标定因子的闭式表达依赖于信道增益、梯度方差和对偶变量。
• 数值结果证实，与现有方法相比，所提方法在高衰落和高噪声环境中更有效地减小了最优性差距。