[论文解读] Distributed Fixed Point Methods with Compressed Iterates

Sélim Chraibi, Ahmed Khaled+4 more|arXiv (Cornell University)|Dec 20, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用 6

一句话总结

本文提出了首个采用压缩迭代值的分布式不动点方法，实现了联邦学习和大规模优化中的通信高效训练。该工作提出了标准与方差缩减两种算法，均在压缩迭代值下实现线性收敛，显著提升了通信效率，同时在压缩与算子性质的标准假设下保持收敛保证。

ABSTRACT

We propose basic and natural assumptions under which iterative optimization methods with compressed iterates can be analyzed. This problem is motivated by the practice of federated learning, where a large model stored in the cloud is compressed before it is sent to a mobile device, which then proceeds with training based on local data. We develop standard and variance reduced methods, and establish communication complexity bounds. Our algorithms are the first distributed methods with compressed iterates, and the first fixed point methods with compressed iterates.

研究动机与目标

• 为解决大规模机器学习中的通信与内存瓶颈，特别是在联邦学习场景下。
• 开发仅压缩迭代值而非仅梯度的迭代优化方法，以实现内存与带宽节省。
• 为集中式与分布式不动点方法在压缩迭代值下的非渐近收敛速率建立理论分析。
• 通过新颖的方差缩减算法框架，消除由迭代值压缩引入的方差。
• 将现有的带压缩迭代值的梯度下降方法推广至更广泛的不动点迭代与分布式设置。

提出的方法

• 提出一种集中式分布式不动点框架，其中每个节点计算局部算子并通信压缩后的迭代值。
• 引入一种方差缩减算法（算法4），通过维护辅助变量来校正压缩引入的偏差。
• 使用满足假设3的压缩算子，包括量化与稀疏化，且具有有界相对误差。
• 采用李雅普诺夫函数，在标准假设下证明方差缩减方法的线性收敛性。
• 推导出标准与方差缩减算法的收敛速率，明确依赖于压缩质量与问题条件。
• 将该框架应用于分布式梯度下降与梯度下降-上升，证明两者均实现线性收敛。

实验结果

研究问题

• RQ1 在分布式设置下，采用压缩迭代值的不动点方法能否实现线性收敛？
• RQ2 迭代值压缩如何影响收敛性？能否消除其引入的方差？
• RQ3 采用压缩迭代值的分布式不动点方法的通信复杂度边界是什么？
• RQ4 所提出的框架能否推广至随机与非凸优化问题？
• RQ5 在实践中，方差缩减方法与标准压缩迭代值方法相比表现如何？

主要发现

• 方差缩减算法（算法4）实现线性收敛，其收敛速率依赖于压缩质量与步长参数。
• 方差缩减方法的收敛速率与标准方法中困扰其的方差项无关，其界形式为 $\mathbb{E}[\Psi^k] \leq (1 - \frac{\min\{\alpha, \eta\rho\}}{2})^k \mathbb{E}[\Psi^0] + \frac{2\eta B}{\min\{\alpha, \eta\rho\}}$。
• 当 $B=0$ 时，算法实现线性收敛，表明在所提框架下压缩引入的方差可被完全消除。
• 该方法可推广至分布式梯度下降与梯度下降-上升，两者均被证明实现线性收敛。
• 数值实验表明，采用压缩迭代值的方差缩减方法在收敛速度上优于标准梯度下降与压缩迭代值GD。
• 该算法在保持收敛性的同时降低了通信成本，适用于联邦学习等内存受限与通信受限的环境。