[论文解读] Communication-Efficient Adaptive Federated Learning

Yujia Wang, Lu Lin+1 more|arXiv (Cornell University)|May 5, 2022

Privacy-Preserving Technologies in Data被引用 25

一句话总结

介绍了 FedCAMS，一种具有与未压缩基线相匹配收敛性保证的通信高效自适应联邦学习方法，以及作为基于动量的变体的 FedAMS。

ABSTRACT

Federated learning is a machine learning training paradigm that enables clients to jointly train models without sharing their own localized data. However, the implementation of federated learning in practice still faces numerous challenges, such as the large communication overhead due to the repetitive server-client synchronization and the lack of adaptivity by SGD-based model updates. Despite that various methods have been proposed for reducing the communication cost by gradient compression or quantization, and the federated versions of adaptive optimizers such as FedAdam are proposed to add more adaptivity, the current federated learning framework still cannot solve the aforementioned challenges all at once. In this paper, we propose a novel communication-efficient adaptive federated learning method (FedCAMS) with theoretical convergence guarantees. We show that in the nonconvex stochastic optimization setting, our proposed FedCAMS achieves the same convergence rate of $O(\frac{1}{\sqrt{TKm}})$ as its non-compressed counterparts. Extensive experiments on various benchmarks verify our theoretical analysis.

研究动机与目标

• 推动并解决两个核心的联邦学习挑战：高通信开销和在随机非凸优化下缺乏自适应性。
• 开发一个统一框架，在联邦学习中实现通信效率与自适应性并存。
• 提供理论收敛性保证，展示与未压缩对应方法的收敛速率相匹配。
• 通过在标准基准测试上的实验，展示实际性能的改进。

提出的方法

• 提出 FedAMS，带有最大稳定化的 Federated AMSGrad 变体，以实现对自适应更新的鲁棒性。
• 引入 FedCAMS，一种利用误差反馈实现有偏压缩器的通信压缩 AMSGrad，同时保持收敛性保证。
• 提供两种更新选项：最大化稳定性方差（选项1）和 AMSGrad 风格的非降方差（选项2）。
• 在 FedCAMS 中，对本地更新应用误差反馈压缩，并维持累计压缩误差以支持部分参与。
• 允许常见压缩器（top-k、缩放符号）在压缩-相异性条件下满足有偏压缩器假设。
• 在适当设置下，建立非凸收敛性保证，显示与未压缩方法相同的 O(1/ sqrt(TKm)) 速率。

实验结果

研究问题

• RQ1 我们是否可以设计一种在非凸设置下既具有通信效率又具自适应性且不牺牲收敛性保证的联邦优化方法？
• RQ2 基于误差反馈的压缩方案是否能在部分参与下可靠推广到自适应联邦优化器？
• RQ3 在全量参与和部分参与下，FedAMS 与 FedCAMS 能达到怎样的收敛速率？
• RQ4 与未压缩的基于 AMSGrad 的方法相比，压缩（偏置和误差反馈）对常数和速率有何影响？

主要发现

• FedAMS 在全量参与和部分参与下实现与未压缩对应方法相同的收敛速率 O(1/ sqrt(TKm))。
• FedCAMS 通过使用误差反馈和有偏压缩器，在降低通信成本的同时达到相同的 O(1/ sqrt(TKm)) 速率。
• 经验结果表明，FedAMS 和 FedCAMS 对现实模型具有良好的自适应性，且 FedCAMS 在精度损失极小的情况下将通信比特数降低了数量级。
• 误差反馈在自适应联邦优化中的通信压缩是可行的，在合适的李雅普诺夫函数风格分析下不会导致发散。
• 部分参与的结果表明，较大的参与节点数可加速收敛，并且在非独立同分布设置下，全局方差的影响力更大。