[论文解读] Fast Convergence Algorithm for Analog Federated Learning

Shuhao Xia, Jingyang Zhu+4 more|arXiv (Cornell University)|Oct 30, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用 6

一句话总结

该论文提出了一种基于AirComp的FedSplit算法，用于在存在噪声的衰落多址接入信道上进行模拟联邦学习，采用基于阈值的设备选择机制以确保可靠的模型聚合。在强凸性和光滑性假设下，证明了该算法线性收敛至最优解，并推导出收敛性能与信道条件相关的有限误差界，表明相比基线方法，该算法具有更快的收敛速度和对病态条件问题更强的鲁棒性。

ABSTRACT

In this paper, we consider federated learning (FL) over a noisy fading multiple access channel (MAC), where an edge server aggregates the local models transmitted by multiple end devices through over-the-air computation (AirComp). To realize efficient analog federated learning over wireless channels, we propose an AirComp-based FedSplit algorithm, where a threshold-based device selection scheme is adopted to achieve reliable local model uploading. In particular, we analyze the performance of the proposed algorithm and prove that the proposed algorithm linearly converges to the optimal solutions under the assumption that the objective function is strongly convex and smooth. We also characterize the robustness of proposed algorithm to the ill-conditioned problems, thereby achieving fast convergence rates and reducing communication rounds. A finite error bound is further provided to reveal the relationship between the convergence behavior and the channel fading and noise. Our algorithm is theoretically and experimentally verified to be much more robust to the ill-conditioned problems with faster convergence compared with other benchmark FL algorithms.

研究动机与目标

• 为解决无线网络中由于信道衰落和噪声导致的联邦学习性能下降问题。
• 设计一种通信高效的模拟联邦学习框架，利用过空气计算（AirComp）实现并发模型聚合。
• 在现实联邦学习应用中常见的病态优化问题中实现快速收敛和鲁棒性。
• 对收敛行为进行理论分析，并推导出依赖于信道质量与噪声的误差界。
• 在收敛速度和鲁棒性方面，验证所提算法相较于现有基线方法的优越性。

提出的方法

• 提出一种基于AirComp的FedSplit算法，可在共享无线信道上实现多设备本地模型更新的过空气聚合。
• 采用基于阈值的设备选择机制，筛选可靠设备进行传输，提升对信道噪声和衰落的鲁棒性。
• 利用基于算子分裂的FedSplit框架，将全局优化问题分解为局部子问题。
• 推导出期望损失的误差界，该误差界显式依赖于信道衰落、噪声功率以及发射功率和带宽等系统参数。
• 在强凸性和光滑性假设下，通过理论证明该算法线性收敛至最优解。
• 将AirComp中的有效噪声建模为零均值且与传输信号无关，从而实现全局模型的无偏估计。

实验结果

研究问题

• RQ1 在存在无线信道畸变和噪声的情况下，模拟联邦学习框架能否实现线性收敛？
• RQ2 所提出的基于阈值的设备选择机制如何提升过空气模型聚合中的可靠性和收敛性？
• RQ3 信道衰落和噪声对模拟FL收敛行为的影响是什么，能否进行量化？
• RQ4 与标准联邦学习基线相比，所提算法在病态优化问题下的表现如何？
• RQ5 全局模型估计误差能否以信道质量与系统参数的形式进行有界表示？

主要发现

• 在目标函数具有强凸性和光滑性的假设下，所提出的基于AirComp的FedSplit算法线性收敛至最优解。
• 与基准的数字和模拟联邦学习方法相比，该算法实现了更快的收敛速度，并对病态问题表现出更强的鲁棒性。
• 推导出一个有限误差界，明确关联了收敛性能与信道衰落和噪声，表明信噪比越高，收敛精度越高。
• 全局模型的期望误差被有界于一个与 $ \frac{G^2}{B^2} \left(B + \frac{d\sigma_w^2}{\gamma^2 P_0} \right) $ 成正比的项，其中 $ B $ 为所选设备数量，$ P_0 $ 为发射功率。
• 数值实验验证了理论结果，表明在各种信道条件下，该算法在收敛速度和稳定性方面均表现出显著性能提升。