[论文解读] Communication Efficient Federated Learning with Energy Awareness over Wireless Networks

Richeng Jin, Xiaofan He+1 more|arXiv (Cornell University)|Apr 15, 2020

Privacy-Preserving Technologies in Data参考文献 40被引用 4

一句话总结

本文提出了一种面向无线网络的节能、通信高效的联邦学习框架，采用SignSGD仅传输梯度符号，显著降低带宽使用。通过在仅在服务器端获取部分信道状态信息（CSI）的条件下优化传输功率与速率，该方法在学习性能与设备能耗之间取得平衡，在现实无线链路中断与数据异构条件下实现更优的收敛性能。

ABSTRACT

In federated learning (FL), reducing the communication overhead is one of the most critical challenges since the parameter server and the mobile devices share the training parameters over wireless links. With such consideration, we adopt the idea of SignSGD in which only the signs of the gradients are exchanged. Moreover, most of the existing works assume Channel State Information (CSI) available at both the mobile devices and the parameter server, and thus the mobile devices can adopt fixed transmission rates dictated by the channel capacity. In this work, only the parameter server side CSI is assumed, and channel capacity with outage is considered. In this case, an essential problem for the mobile devices is to select appropriate local processing and communication parameters (including the transmission rates) to achieve a desired balance between the overall learning performance and their energy consumption. Two optimization problems are formulated and solved, which optimize the learning performance given the energy consumption requirement, and vice versa. Furthermore, considering that the data may be distributed across the mobile devices in a highly uneven fashion in FL, a stochastic sign-based algorithm is proposed. Extensive simulations are performed to demonstrate the effectiveness of the proposed methods.

研究动机与目标

• 解决无线网络中联邦学习面临的高通信开销与高能耗挑战。
• 克服现有研究假设客户端与服务器均具备完整信道状态信息（CSI）的局限性。
• 在无线信道中断与数据异构条件下，优化学习性能与能耗之间的权衡。
• 设计一种基于随机符号的算法，以应对移动设备间非独立同分布（non-iid）的数据分布。
• 制定并求解两个优化问题：在能耗约束下最大化学习性能，以及在性能需求下最小化能耗。

提出的方法

• 采用SignSGD结合多数投票机制，仅传输模型梯度的符号，从而大幅降低通信开销。
• 使用平坦衰落信道模型描述上行链路传输，引入中断概率，并假设仅参数服务器具备CSI。
• 制定两个优化问题：(1) 在给定能耗预算下最大化收敛速率；(2) 在所需收敛速率下最小化能耗。
• 基于本地计算成本、数据大小与信道条件，推导出每个设备最优传输功率与速率的闭式表达式。
• 提出一种基于随机符号的算法，以应对数据异构性，客户端根据本地数据分布更新梯度。
• 提出一种新性能度量指标，结合每轮聚合成功率与收敛速率，以更准确评估实际学习性能。

实验结果

研究问题

• RQ1 无线信道中断如何影响联邦学习中基于符号的梯度更新的聚合精度？
• RQ2 在无线约束条件下，通信能耗与本地计算能耗之间的最优权衡是什么？
• RQ3 当仅服务器具备CSI时，如何联合优化移动设备的传输功率与速率？
• RQ4 数据异构性在无线约束下如何影响基于符号的联邦学习收敛性？
• RQ5 结合中断概率与收敛速率的新型性能度量指标，是否能更准确反映现实世界训练效率？

主要发现

• 所提方法通过仅传输梯度符号，显著降低通信开销，使在带宽受限的无线链路上实现高效训练成为可能。
• 在部分CSI条件下，推导出最优传输功率与速率的闭式表达式，有效平衡能耗与学习性能。
• 基于随机符号的算法能有效应对数据异构性，在非独立同分布（non-iid）数据分布下仍保持稳定收敛。
• 所提性能度量指标——结合每轮聚合成功率与收敛速率——相比仅依赖轮次计数，能更准确衡量实际学习效率。
• 仿真结果表明，在真实无线中断条件下，优化后的系统相比基线方法实现了更快的收敛速度与更低的能耗。
• 理论分析证明，正确符号聚合的概率随客户端数量增加而提高，随单个客户端中断概率增加而降低，验证了该方法的鲁棒性。