[论文解读] Bayesian Federated Learning over Wireless Networks

Seunghoon Lee, Chanho Park+3 more|arXiv (Cornell University)|Dec 31, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用 16

一句话总结

本文提出无线网络中的贝叶斯联邦学习（BFL），其中服务器通过利用先验分布、量化函数和信道状态信息，最优地聚合一位量化梯度，以最小化均方误差（MSE）。此外，提出了可扩展的BFL（SBFL），这是一种低复杂度变体，每台设备仅传输两个标量参数，在异构无线条件下，其在MNIST上的收敛性能优于signSGD。

ABSTRACT

Federated learning is a privacy-preserving and distributed training method using heterogeneous data sets stored at local devices. Federated learning over wireless networks requires aggregating locally computed gradients at a server where the mobile devices send statistically distinct gradient information over heterogenous communication links. This paper proposes a Bayesian federated learning (BFL) algorithm to aggregate the heterogeneous quantized gradient information optimally in the sense of minimizing the mean-squared error (MSE). The idea of BFL is to aggregate the one-bit quantized local gradients at the server by jointly exploiting i) the prior distributions of the local gradients, ii) the gradient quantizer function, and iii) channel distributions. Implementing BFL requires high communication and computational costs as the number of mobile devices increases. To address this challenge, we also present an efficient modified BFL algorithm called scalable-BFL (SBFL). In SBFL, we assume a simplified distribution on the local gradient. Each mobile device sends its one-bit quantized local gradient together with two scalar parameters representing this distribution. The server then aggregates the noisy and faded quantized gradients to minimize the MSE. We provide a convergence analysis of SBFL for a class of non-convex loss functions. Our analysis elucidates how the parameters of communication channels and the gradient priors affect convergence. From simulations, we demonstrate that SBFL considerably outperforms the conventional sign stochastic gradient descent algorithm when training and testing neural networks using MNIST data sets over heterogeneous wireless networks.

研究动机与目标

• 解决在具有单比特量化和衰落信道的异构无线网络中，联邦学习的最优梯度聚合挑战。
• 联合建模本地梯度先验、量化效应和信道衰落，以提高估计精度。
• 通过提出一种可扩展变体（SBFL），降低大规模联邦学习中的计算和通信开销。
• 在真实无线约束下，分析SBFL在非凸损失函数下的收敛性。
• 在MNIST上展示SBFL在测试准确率和收敛速度方面优于signSGD的优越性能。

提出的方法

• 提出贝叶斯联邦学习（BFL），利用贝叶斯线性最小均方误差（BLMMSE）估计，从噪声、衰落的一位量化梯度中最优重建全局梯度。
• 整合三个关键组件：本地梯度的先验分布、一位量化函数和信道状态分布，以最小化估计MSE。
• 提出可扩展的BFL（SBFL），假设每台设备采用简化的高斯先验，并仅传输两个标量参数（均值和方差），而非完整梯度。
• 在服务器端使用接收到的信号和已知的统计参数，通过BLMMSE估计重建全局梯度。
• 在收敛性分析中采用自适应学习率 $\gamma^t = \frac{1}{t+1}$，以确保非凸目标函数的收敛性。
• 推导了重建梯度MSE的理论界，并将其与优化过程中每轮的期望改进相联系。

实验结果

研究问题

• RQ1 在具有异构设备和衰落信道的无线联邦学习系统中，如何最优地聚合一位量化梯度？
• RQ2 梯度先验和信道质量对联邦学习中梯度重建性能有何影响？
• RQ3 能否设计一种低复杂度的贝叶斯梯度聚合变体，在最小通信开销下保持高性能？
• RQ4 在非凸模型下，所提出的SBFL算法与signSGD相比，在收敛速度和最终测试准确率方面表现如何？
• RQ5 在非凸损失函数下，所提出算法的收敛性可提供哪些理论保证？

主要发现

• 在异构无线网络上使用MNIST数据集训练神经网络时，SBFL的测试准确率显著优于signSGD。
• 在适当的自适应学习率调度下，SBFL在非凸损失函数下的收敛性在理论上得到保证。
• BFL中重建梯度的MSE通过联合利用梯度先验、量化器模型和信道状态分布得以最小化。
• SBFL通过每台设备仅传输两个标量参数，显著降低了通信成本，同时保持了接近全精度聚合的性能。
• SBFL的收敛速率取决于信道质量、梯度方差和学习率之间的相互作用，信道条件越好，收敛越快。
• 理论分析表明，每轮的期望改进受真实梯度范数和估计误差方差的限制，后者由信道和先验参数控制。