[论文解读] Communication trade-offs for synchronized distributed SGD with large step size

Kumar Kshitij Patel, Aymeric Dieuleveut|arXiv (Cornell University)|Apr 25, 2019

Stochastic Gradient Optimization Techniques参考文献 91被引用 18

一句话总结

该论文首次对分布式SGD中大步长（缩放为$t^{-\alpha}$，$α \in (1/2,1)$）的局部SGD进行了非渐近误差分析，表明在不牺牲收敛性的情况下，通信频率可降低$O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$，在通信效率上优于单次平均和小批量平均，同时保持最优性能。

ABSTRACT

Synchronous mini-batch SGD is state-of-the-art for large-scale distributed machine learning. However, in practice, its convergence is bottlenecked by slow communication rounds between worker nodes. A natural solution to reduce communication is to use the \emph{`local-SGD'} model in which the workers train their model independently and synchronize every once in a while. This algorithm improves the computation-communication trade-off but its convergence is not understood very well. We propose a non-asymptotic error analysis, which enables comparison to \emph{one-shot averaging} i.e., a single communication round among independent workers, and \emph{mini-batch averaging} i.e., communicating at every step. We also provide adaptive lower bounds on the communication frequency for large step-sizes ($ t^{-α} $, $ α\in (1/2 , 1 ) $) and show that \emph{Local-SGD} reduces communication by a factor of $O\Big(\frac{\sqrt{T}}{P^{3/2}}\Big)$, with $T$ the total number of gradients and $P$ machines.

研究动机与目标

• 为通过分析通信-精度权衡来解决同步分布式SGD中的通信瓶颈。
• 为具有大步长（$t^{-\\alpha}$，$\\alpha \in (1/2,1)$）的局部SGD提供非渐近误差分析，这类步长在实践中很常见。
• 量化局部SGD为匹配小批量平均性能所需的最低通信频率。
• 推导依赖于到最优解距离的自适应通信策略，这与经验观察一致。
• 在有限时域和大步长范式下，比较单次平均和小批量平均在偏差-方差权衡方面的表现。

提出的方法

• 在光滑和强凸假设下，对局部SGD进行非渐近误差分析，涵盖在线和有限时域设置。
• 推导大步长下通信频率的自适应下界，表明在$T$个总梯度和$P$个工作者的情况下，通信可降低$O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$。
• 通过偏差-方差分解分析单次平均和小批量平均，比较其在大步长下的收敛行为。
• 使用随机过程分析和李雅普诺夫型论证来控制到最优解的期望平方误差。
• 建立局部SGD在通信频率较低时仍能匹配小批量SGD收敛速率的条件。
• 通过实验验证理论发现，展示局部SGD、单次平均和小批量变体的行为。

实验结果

研究问题

• RQ1 对于具有大步长的局部SGD，为实现与小批量SGD相当的收敛性，所需的最低通信频率是多少？
• RQ2 在使用大步长时，单次平均与小批量平均在偏差和方差方面的性能表现如何比较？
• RQ3 在局部SGD中，是否可以将通信频率降低$O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$而不影响收敛性？在何种条件下可以实现？
• RQ4 所需通信频率是否如经验观察所示，会随与最优解的距离而自适应调整？
• RQ5 在何种假设下，局部SGD在使用大步长时能实现最优收敛速率？

主要发现

• 与小批量SGD相比，局部SGD的通信频率可降低$O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$，同时保持最优收敛性，其中$T$为总梯度数，$P$为工作者数。
• 当机器数量和梯度数同时增长时，小批量平均在偏差-方差权衡上优于单次平均，尽管两者在固定$P$时渐近等价。
• 该分析提供了依赖于到最优点期望距离的通信频率自适应下界，与Zhang等人（2016）的经验观察一致。
• 当通信按推导出的频率进行时，即使使用大步长（$t^{-\alpha}$，$α \in (1/2,1)$），局部SGD也能实现与小批量SGD相当的最优收敛速率。
• 该理论框架适用于标准机器学习问题，如最小二乘回归和逻辑回归，在光滑和强凸假设下成立。
• 实验结果支持理论发现，展示了分布式SGD中通信、计算与收敛性之间的权衡。