[论文解读] 99% of Distributed Optimization is a Waste of Time: The Issue and How to Fix it

Konstantin Mishchenko, Filip Hanzely+1 more|arXiv (Cornell University)|Jan 27, 2019

Stochastic Gradient Optimization Techniques参考文献 41被引用 5

一句话总结

本文指出，在标准分布式优化中，99%的通信是冗余的，原因在于所有工作节点均传输完整的梯度，导致效率低下。为此，本文提出一种块稀疏梯度更新方法，使每个工作节点仅传输梯度块的一部分，从而在不损失收敛速度的前提下，将通信量减少高达99%，该方法已通过理论分析和在合成数据集与真实数据集上的实验得到验证。

ABSTRACT

Many popular distributed optimization methods for training machine learning models fit the following template: a local gradient estimate is computed independently by each worker, then communicated to a master, which subsequently performs averaging. The average is broadcast back to the workers, which use it to perform a gradient-type step to update the local version of the model. It is also well known that many such methods, including SGD, SAGA, and accelerated SGD for over-parameterized models, do not scale well with the number of parallel workers. In this paper we observe that the above template is fundamentally inefficient in that too much data is unnecessarily communicated by the workers, which slows down the overall system. We propose a fix based on a new update-sparsification method we develop in this work, which we suggest be used on top of existing methods. Namely, we develop a new variant of parallel block coordinate descent based on independent sparsification of the local gradient estimates before communication. We demonstrate that with only $m/n$ blocks sent by each of $n$ workers, where $m$ is the total number of parameter blocks, the theoretical iteration complexity of the underlying distributed methods is essentially unaffected. As an illustration, this means that when $n=100$ parallel workers are used, the communication of $99\%$ blocks is redundant, and hence a waste of time. Our theoretical claims are supported through extensive numerical experiments which demonstrate an almost perfect match with our theory on a number of synthetic and real datasets.

研究动机与目标

• 识别为何诸如SGD、SAGA和加速SGD等流行的分布式优化方法在并行工作节点数量增加时无法实现良好扩展。
• 证明标准通信模式——即从所有工作节点传输完整梯度——在本质上是低效且冗余的。
• 开发一种新型更新稀疏化技术，以减少通信开销，同时保持理论收敛速率。
• 表明每轮通信中每个工作节点仅需传输 m/n 个块（其中 m 为参数块总数，n 为工作节点数），当 n=100 时，99%的通信属于冗余。
• 通过在合成数据集和真实数据集上的广泛数值实验，验证理论结论。

提出的方法

• 提出一种新型并行块坐标下降变体，该方法在通信前对本地梯度估计独立应用稀疏化。
• 每个工作节点计算本地梯度估计，然后仅选择 m/n 个块（其中 m 为参数块总数）进行向主节点的传输。
• 主节点聚合稀疏化后的块，并将平均值广播回所有工作节点以执行模型更新。
• 基于方差缩减和分块期望的理论框架，证明尽管通信量减少，迭代复杂度基本保持不变。
• 将该方法应用于 SAGA 和 SGD 等现有算法之上，实现通信量减少，同时不改变核心优化逻辑。
• 采用塔性质和条件期望分析，界定期望误差并证明在标准假设（凸性、光滑性、有界方差）下的收敛性。

实验结果

研究问题

• RQ1 为何标准分布式优化方法无法随并行工作节点数量线性扩展？
• RQ2 在分布式方法中，完整梯度通信在多大程度上是冗余的？
• RQ3 能否将通信量减少99%而不降低收敛速度？
• RQ4 何种稀疏化策略可在分布式块坐标下降中保持收敛保证？
• RQ5 在通信效率和迭代复杂度方面，所提方法与现有方法相比表现如何？

主要发现

• 当使用 n=100 个工作节点时，传输 99% 的梯度块是冗余的，因为每个工作节点仅需传输 m/n 个块即可维持收敛速度。
• 理论分析表明，尽管每工作节点仅通信 m/n 个块，底层分布式方法的迭代复杂度基本不受影响。
• 在合成数据集和真实数据集上的数值实验表明，理论与实践几乎完全吻合，证实了该方法的有效性。
• 所提出的稀疏化方法可在保持与完整梯度方法相同收敛速率的同时，实现高达99%的通信开销减少。
• 该方法与 SAGA、SGD 和加速 SGD 等现有算法兼容，支持即插即用式集成以提升可扩展性。
• 理论边界表明，期望误差的衰减速率与完整通信方法相当，仅因稀疏化带来的方差产生一个微小的加法项。