[论文解读] Communication Efficient Distributed Learning with Censored, Quantized, and Generalized Group ADMM

Chaouki Ben Issaid, Anis Elgabli+3 more|arXiv (Cornell University)|Sep 14, 2020

Distributed Control Multi-Agent Systems参考文献 28被引用 13

一句话总结

该论文提出了一种通信高效的去中心化机器学习框架——删失与量化广义组ADMM（CQ-GGADMM），该框架在广义组ADMM结构中结合了链路删失与随机量化技术。该方法在强凸目标下实现了线性收敛，显著减少了通信轮次与能耗，且不损失精度或速度，在广义网络拓扑结构下优于现有的删失与量化去中心化方法。

ABSTRACT

In this paper, we propose a communication-efficiently decentralized machine learning framework that solves a consensus optimization problem defined over a network of inter-connected workers. The proposed algorithm, Censored and Quantized Generalized GADMM (CQ-GGADMM), leverages the worker grouping and decentralized learning ideas of Group Alternating Direction Method of Multipliers (GADMM), and pushes the frontier in communication efficiency by extending its applicability to generalized network topologies, while incorporating link censoring for negligible updates after quantization. We theoretically prove that CQ-GGADMM achieves the linear convergence rate when the local objective functions are strongly convex under some mild assumptions. Numerical simulations corroborate that CQ-GGADMM exhibits higher communication efficiency in terms of the number of communication rounds and transmit energy consumption without compromising the accuracy and convergence speed, compared to the censored decentralized ADMM, and the worker grouping method of GADMM.

研究动机与目标

• 为解决由于边缘设备频繁交换参数而导致的去中心化机器学习中高通信开销问题。
• 克服集中式联邦学习的局限性，如单点故障与隐私担忧。
• 通过将删失与量化整合到广义组ADMM框架中，提升通信效率。
• 在强凸性条件下确保线性收敛，同时支持任意二分图网络拓扑结构。
• 在不降低模型精度或收敛速度的前提下，减少通信轮次与每条链路的负载大小。

提出的方法

• CQ-GGADMM通过允许每个工作者与任意数量的邻居连接，将组ADMM（GADMM）扩展至广义网络拓扑结构，前提是图是二分图且连通。
• 引入一种删失机制，跳过传输被认为可忽略的模型更新，从而减少每轮中活跃通信链路的数量。
• 采用异构随机量化方案，以减少每个模型参数的比特数，最小化负载大小。
• 算法通过并行更新头组与尾组的工作者，利用ADMM框架求解一致性优化问题。
• 理论分析采用包含参数 $\rho$、$\kappa$ 与 $\psi$ 的李雅普诺夫函数，证明在强凸性与温和假设下实现线性收敛。
• 收敛性证明依赖于通过系统矩阵的谱范数界定误差项，并确保 $\rho$ 的二次型表达式为正。

实验结果

研究问题

• RQ1 去中心化学习框架是否能在超越链式结构的广义网络拓扑结构下实现线性收敛？
• RQ2 在去中心化ADMM中，删失与量化相结合对收敛性与通信效率有何影响？
• RQ3 在存在删失与量化噪声的情况下，惩罚参数 $\rho$ 与误差界需满足何种条件，才能确保线性收敛？
• RQ4 在不降低模型精度的前提下，通信轮次与能耗可被减少到何种程度？
• RQ5 CQ-GGADMM与删失去中心化ADMM及标准GADMM相比，在收敛速度与通信成本方面表现如何？

主要发现

• 在温和假设下，CQ-GGADMM对强凸局部目标实现了线性收敛，收敛速率为 $ (1 + \delta_2)/2 $，其中 $ \delta_2 = \max\{(1+\kappa)^{-1}, \psi^2\} $。
• 通过选择满足二次不等式 $ -[(b_2 + a\kappa) + (1+\kappa)(b_1 + a\kappa)]\rho^2 + \mu\rho - c\kappa \geq 0 $ 的 $ \rho $，算法可确保最优性间隙减小，该不等式在 $ \kappa < \bar{\kappa} $ 时可行。
• 数值仿真结果表明，与删失去中心化ADMM及标准GADMM相比，CQ-GGADMM显著减少了通信轮次与传输能耗。
• 尽管通过删失与量化实施了激进的通信压缩，该框架仍保持了高模型精度与快速收敛速度。
• 理论分析证明，删失与量化引入的误差项是有界的，当 $ \rho $ 选择在判别式 $ \Delta > 0 $ 定义的可行区域内时，不会阻碍线性收敛。
• 该方法支持任意二分图网络拓扑结构，将GADMM的应用范围从链式网络结构扩展至更广泛场景。