[论文解读] Decentralized Federated Learning: Balancing Communication and Computing Costs

Wei Liu, Li Chen+1 more|arXiv (Cornell University)|Jul 26, 2021

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文提出了一种去中心化联邦学习（DFL）框架，通过定期调度多次本地更新和多次节点间通信，平衡通信与计算成本。该框架在不假设凸性的情况下建立了强有力的收敛保证，并引入了压缩通信（C-DFL），其在强凸目标下实现线性收敛，且在MNIST和CIFAR-10上显著提升了通信效率。

ABSTRACT

Decentralized stochastic gradient descent (SGD) is a driving engine for decentralized federated learning (DFL). The performance of decentralized SGD is jointly influenced by inter-node communications and local updates. In this paper, we propose a general DFL framework, which implements both multiple local updates and multiple inter-node communications periodically, to strike a balance between communication efficiency and model consensus. It can provide a general decentralized SGD analytical framework. We establish strong convergence guarantees for the proposed DFL algorithm without the assumption of convex objectives. The convergence rate of DFL can be optimized to achieve the balance of communication and computing costs under constrained resources. For improving communication efficiency of DFL, compressed communication is further introduced to the proposed DFL as a new scheme, named DFL with compressed communication (C-DFL). The proposed C-DFL exhibits linear convergence for strongly convex objectives. Experiment results based on MNIST and CIFAR-10 datasets illustrate the superiority of DFL over traditional decentralized SGD methods and show that C-DFL further enhances communication efficiency.

研究动机与目标

• 为在资源受限环境下解决去中心化联邦学习（DFL）中通信效率与模型一致性之间的权衡问题。
• 设计一种通用的DFL框架，支持周期性地进行多次本地更新和多次节点间通信，以平衡计算与通信成本。
• 在不依赖目标函数凸性的前提下，为DFL建立收敛保证，确保在非凸设置下的鲁棒性能。
• 通过将压缩通信集成到DFL中，提升通信效率，从而实现更具可扩展性的C-DFL。
• 通过实证验证所提出的DFL与C-DFL框架相较于传统去中心化SGD在真实数据集上的优越性。

提出的方法

• 提出一种通用的DFL框架，每轮交替进行多次本地更新与多次节点间通信，以平衡通信与计算开销。
• 通过一种新颖的李雅普诺夫函数与递归误差界，推导出针对非凸目标的理论收敛分析。
• 通过随机稀疏化与量化技术引入压缩通信，以减少DFL中的通信开销。
• 提出C-DFL，即集成压缩通信的DFL变体，并证明其在强凸目标下的线性收敛性。
• 通过结构化分析误差累积与一致性误差，对在不同系统参数下的收敛速率进行上界估计。
• 采用步长调度策略与类似动量的项，以在非凸设置下稳定训练并加速收敛。

实验结果

研究问题

• RQ1 在资源受限环境中，如何有效平衡去中心化联邦学习的通信与计算成本？
• RQ2 在非凸目标下，DFL的收敛行为如何？是否可在无需强假设的前提下实现收敛保证？
• RQ3 能否有效将压缩通信集成到DFL中，以减少通信开销同时保持收敛性？
• RQ4 所提出的C-DFL框架在收敛速度与通信效率方面相较于传统去中心化SGD有何表现？
• RQ5 在DFL中，如何在本地更新次数与节点间通信轮次之间实现最优权衡以获得高性能？

主要发现

• 所提出的DFL框架在不依赖目标函数凸性的情况下实现了强有力的收敛保证，确保在实际非凸设置下的鲁棒性。
• C-DFL作为DFL的压缩通信变体，在强凸目标下表现出线性收敛，体现了理论上的效率提升。
• 在MNIST和CIFAR-10上的实验结果表明，DFL在收敛速度与模型准确率方面优于传统的去中心化SGD。
• C-DFL相比标准DFL显著降低了通信成本，实验结果证实其在不牺牲收敛质量的前提下提升了通信效率。
• 通过调节本地更新次数与节点间通信轮次，可在资源受限条件下优化框架的收敛速率。
• 理论分析证实，误差累积与一致性误差均受控，且其上界明确依赖于压缩率与通信频率等系统参数。