[论文解读] Federated Learning With Quantized Global Model Updates

Mohammad Mohammadi Amiri, Denız Gündüz+2 more|arXiv (Cornell University)|Jun 18, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用 35

一句话总结

本文提出了一种有损联邦学习（LFL）框架，其中服务器将量化的全局模型更新广播给设备，设备发送量化的本地更新，分析收敛性并展示在最小性能损失的情况下显著的通信节省。

ABSTRACT

We study federated learning (FL), which enables mobile devices to utilize their local datasets to collaboratively train a global model with the help of a central server, while keeping data localized. At each iteration, the server broadcasts the current global model to the devices for local training, and aggregates the local model updates from the devices to update the global model. Previous work on the communication efficiency of FL has mainly focused on the aggregation of model updates from the devices, assuming perfect broadcasting of the global model. In this paper, we instead consider broadcasting a compressed version of the global model. This is to further reduce the communication cost of FL, which can be particularly limited when the global model is to be transmitted over a wireless medium. We introduce a lossy FL (LFL) algorithm, in which both the global model and the local model updates are quantized before being transmitted. We analyze the convergence behavior of the proposed LFL algorithm assuming the availability of accurate local model updates at the server. Numerical experiments show that the proposed LFL scheme, which quantizes the global model update (with respect to the global model estimate at the devices) rather than the global model itself, significantly outperforms other existing schemes studying quantization of the global model at the PS-to-device direction. Also, the performance loss of the proposed scheme is marginal compared to the fully lossless approach, where the PS and the devices transmit their messages entirely without any quantization.

研究动机与目标

• 通过将对设备的全局模型广播量化来降低在联邦学习中的通信成本的动机。
• 开发并分析一个有损联邦学习（LFL）算法，传输量化的全局模型更新。
• 在服务器上对准确的本地更新下评估 LFL 的收敛性并量化量化参数的影响。
• 将 LFL 与现有的 PS-to-device 压缩方案及在标准数据集上的完全无损基线进行比较。

提出的方法

• 提出 LFL，其中服务器广播相对于设备的上一次估计的量化全局模型更新。
• 设备通过将量化更新添加到它们的先前估计来重建当前全局模型估计，并执行 tau 步本地 SGD。
• 设备对本地更新进行量化并带误差补偿地发送回服务器；服务器聚合这些量化更新以更新全局模型。
• 使用类似 QSGD 的随机量化，修改广播步骤并在假定设备更新准确的前提下推导收敛界限。
• 给出收敛分析，展示量化误差和偏斜参数如何影响速率。
• 在 MNIST 和 CIFAR-10 上对 LTGM、LGM 和 LB 基线进行性能验证。

实验结果

研究问题

• RQ1 广播量化后的全局模型更新（而不是完整模型）是否能保持 FL 的收敛性属性？
• RQ2 量化级别对通信成本和学习精度在 IID 和非 IID 数据分布中的影响是什么？
• RQ3 与现有的 PS-to-device 压缩方案相比，LFL 在准确性和所需比特数方面有何差异？

主要发现

• LFL 在 MNIST 和 CIFAR-10 上实现了与完全无损训练相当的准确性，同时广播比特显著减少。
• LFL 显著优于在 PS-to-device 方向量化全局模型本身的 LTGM 和 LGM 方案。
• 量化全局模型更新比量化全局模型本身能为设备估计提供更好的效果，从而在低比特预算下实现有效的本地训练。
• 收敛界限显示量化误差和偏斜参数对收敛速度的影响，在实际设置下性能损失很小。
• 实验表明在 iid 和非 iid 情况下，通过量化级别（如 q1、q2）实现显著的通信节省，且没有明显的性能下降。