[论文解读] Gradient Statistics Aware Power Control for Over-the-Air Federated Learning

Naifu Zhang, Meixia Tao|arXiv (Cornell University)|Mar 4, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用 15

一句话总结

本文提出了一种面向空中联邦学习的梯度统计感知功率控制方案，通过基于局部梯度的平方多变量变异系数（SMCV）自适应调整发射功率，以最小化聚合误差。该方法实现了闭式最优功率控制，确保随着SMCV增加，功率连续且单调下降，同时以可忽略的统计估计开销实现精确的梯度聚合，在多种场景下均优于现有方案，测试准确率更高。

ABSTRACT

Federated learning (FL) is a promising technique that enables many edge devices to train a machine learning model collaboratively in wireless networks. By exploiting the superposition nature of wireless waveforms, over-the-air computation (AirComp) can accelerate model aggregation and hence facilitate communication-efficient FL. Due to channel fading, power control is crucial in AirComp. Prior works assume that the signals to be aggregated from each device, i.e., local gradients have identical statistics. In FL, however, gradient statistics vary over both training iterations and feature dimensions, and are unknown in advance. This paper studies the power control problem for over-the-air FL by taking gradient statistics into account. The goal is to minimize the aggregation error by optimizing the transmit power at each device subject to peak power constraints. We obtain the optimal policy in closed form when gradient statistics are given. Notably, we show that the optimal transmit power is continuous and monotonically decreases with the squared multivariate coefficient of variation (SMCV) of gradient vectors. We then propose a method to estimate gradient statistics with negligible communication cost. Experimental results demonstrate that the proposed gradient-statistics-aware power control achieves higher test accuracy than the existing schemes for a wide range of scenarios.

研究动机与目标

• 解决在时变无线 fading 信道下，空中联邦学习（FL）中通信高效模型聚合的关键挑战。
• 克服先前研究假设梯度统计独立同分布的局限性，考虑训练迭代过程和特征维度中局部梯度实际的动态统计变化。
• 制定并求解在峰值功率约束下最小化聚合误差的功率控制优化问题，利用实时梯度统计信息。
• 设计一种低开销方法，以极低的通信成本估计梯度统计量，支持在真实联邦学习系统中的实际部署。
• 证明考虑梯度统计量可显著提升测试准确率，相较于传统功率控制方案，在多样化无线环境中表现更优。

提出的方法

• 提出一种基于梯度向量平方多变量变异系数（SMCV）的闭式最优功率控制策略，确保最小化聚合误差。
• 将功率控制问题建模为约束优化问题，根据信道增益和梯度SMCV为每个设备动态调整发射功率。
• 推导最优功率策略在不同功率水平间切换的解析条件，证明功率函数的连续性与单调性。
• 引入一种轻量级统计估计技术，使设备能以极低通信开销报告梯度统计量（均值与方差）。
• 利用估计的SMCV实时动态调整发射功率，确保对信道变化和非独立同分布梯度分布的鲁棒性。
• 在多个训练迭代和网络条件下验证功率控制策略，结果表明模型聚合具有良好的收敛性与稳定性。

实验结果

研究问题

• RQ1 局部梯度的统计变化——特别是其SMCV——如何影响空中FL中的最优功率分配？
• RQ2 能否推导出一种闭式功率控制策略，在满足峰值功率约束并考虑非独立同分布梯度统计量的前提下，最小化聚合误差？
• RQ3 梯度统计量估计的开销对系统性能有何影响？在实际中能否实现可忽略的开销？
• RQ4 与现有功率控制方法相比，所提方案在不同信道条件下的测试准确率与鲁棒性如何？
• RQ5 最优功率策略是否随梯度SMCV呈现连续性和单调性？这对系统稳定性有何影响？

主要发现

• 最优发射功率随梯度向量的平方多变量变异系数（SMCV）增加而连续且单调下降，确保功率自适应的稳定与可预测。
• 所提方法在广泛信道条件和模型架构下均优于现有方案，表现出对非独立同分布数据分布的强鲁棒性。
• 梯度统计量可实现极低通信开销的估计，支持实时自适应，且不引入显著系统负担。
• 闭式功率控制策略在给定约束下被数学证明为最优，具备连续性与收敛性的理论保证。
• 该方法通过显式建模梯度异质性，优于信道反转与阈值型功率控制方案，显著降低聚合误差。
• 理论分析证实，最优策略在不同功率区域间平滑过渡，边界条件处无不连续性。