[论文解读] Communication Efficient Federated Learning over Multiple Access Channels

Wei-Ting Chang, Ravi Tandon|arXiv (Cornell University)|Jan 23, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用 52

一句话总结

本论文设计在高斯 MAC 上的数字梯度传输用于联邦学习，提出 MAC 感知的随机梯度量化，根据梯度信息量和信道容量为每位用户分配量化预算，以提高收敛性。它分析收敛性并提供一个优化框架，给出一个两用户示例和实验表明 MAC 感知量化优于均匀分配和其他数字方案。

ABSTRACT

In this work, we study the problem of federated learning (FL), where distributed users aim to jointly train a machine learning model with the help of a parameter server (PS). In each iteration of FL, users compute local gradients, followed by transmission of the quantized gradients for subsequent aggregation and model updates at PS. One of the challenges of FL is that of communication overhead due to FL's iterative nature and large model sizes. One recent direction to alleviate communication bottleneck in FL is to let users communicate simultaneously over a multiple access channel (MAC), possibly making better use of the communication resources. In this paper, we consider the problem of FL learning over a MAC. In particular, we focus on the design of digital gradient transmission schemes over a MAC, where gradients at each user are first quantized, and then transmitted over a MAC to be decoded individually at the PS. When designing digital FL schemes over MACs, there are new opportunities to assign different amount of resources (such as rate or bandwidth) to different users based on a) the informativeness of the gradients at each user, and b) the underlying channel conditions. We propose a stochastic gradient quantization scheme, where the quantization parameters are optimized based on the capacity region of the MAC. We show that such channel aware quantization for FL outperforms uniform quantization, particularly when users experience different channel conditions, and when have gradients with varying levels of informativeness.

研究动机与目标

• 通过利用多访问信道（MACs）来降低联邦学习的通信开销的动机。
• 开发一个数字梯度传输方案，按 MAC 容量和梯度信息量为每位用户调整量化预算。
• 提出并求解在 MAC 容量约束下分配量化预算的优化问题。
• 通过两用户示例和 MNIST 实验提供理论收敛性保证和实践洞见。

提出的方法

• 将 M 个用户发送经量化的梯度到参数服务器（PS）的联邦学习模型。
• 引入每个用户的随机多级梯度量化，基于动态范围的预算 k_m 来确定量化级别 k_m。
• 证明无偏梯度估计且方差有界，并推导收敛性界限，取决于梯度动态范围和量化预算。
• 将 MAC 感知优化（问题 P）形式化，在 MAC 容量约束下使各用户方差之和最小化。
• 对 2 用户情形的放松凸版本进行解析求解，以获得关于预算分配如何随梯度范围和 MAC 容量变化的见解。
• 通过 MNIST 实验证明 MAC 感知量化优于均匀分配和其他数字方案。

实验结果

研究问题

• RQ1 在通过 MAC 传输的用户之间应如何分配传输速率（量化预算）以优化联邦学习的收敛性？
• RQ2 梯度信息量（动态范围）和 MAC 容量对每位用户的最优量化预算有何影响？
• RQ3 迭代预算优化的凸放松是否能够为 MAC 上的多用户联邦学习提供实用的、接近最优的分配？
• RQ4 在实际中，MAC 感知方案是否优于均匀量化和现有数字方案？

主要发现

• MAC 感知的梯度量化将更多的传输速率分配给梯度信息量更高的用户（动态范围更高）。
• 收敛性界限取决于各用户梯度量化方差的和，而这些方差受动态范围和量化水平控制。
• 对于两用户，最优预算可由一个近似闭式条件表征，该条件将梯度动态范围与 MAC 容量联系起来。
• 在 MNIST 上的实验显示 MAC 感知量化优于均匀分配、先前的数字方案、SignSGD 和 TernGrad，接近全分辨率性能。
• 增加总功率（更大的 MAC 容量）可提升训练精度，且该方案相应地调整量化预算。
• 该方法在 MAC 约束下维持无偏的梯度估计且方差有界。