[论文解读] MixML: A Unified Analysis of Weakly Consistent Parallel Learning

Yucheng Lu, J. Gregory Nash+1 more|arXiv (Cornell University)|May 14, 2020

Stochastic Gradient Optimization Techniques参考文献 46被引用 4

一句话总结

MixML 通过将通信建模为混合时间 $t_{\text{mix}}$，提出了一种统一的框架，用于分析弱一致性并行机器学习，实现了仅依赖于该参数的收敛性界。该框架泛化并改进了异步和去中心化设置下 SGD、AMSGrad 和 RMSProp 的现有收敛界。

ABSTRACT

Parallelism is a ubiquitous method for accelerating machine learning algorithms. However, theoretical analysis of parallel learning is usually done in an algorithm- and protocol-specific setting, giving little insight about how changes in the structure of communication could affect convergence. In this paper we propose MixML, a general framework for analyzing convergence of weakly consistent parallel machine learning. Our framework includes: (1) a unified way of modeling the communication process among parallel workers; (2) a new parameter, the mixing time tmix, that quantifies how the communication process affects convergence; and (3) a principled way of converting a convergence proof for a sequential algorithm into one for a parallel version that depends only on tmix. We show MixML recovers and improves on known convergence bounds for asynchronous and/or decentralized versions of many algorithms, includingSGD and AMSGrad. Our experiments substantiate the theory and show the dependency of convergence on the underlying mixing time.

研究动机与目标

• 解决弱一致性并行学习系统中收敛性分析缺乏统一理论框架的问题。
• 克服现有收敛性分析中依赖特定协议假设的局限性，从而阻碍比较与复用。
• 提出一种通用方法，仅基于混合时间 $t_{\text{mix}}$ 将串行收敛证明系统性地转换为并行版本。
• 提供一种有原则的方法，量化通信结构对收敛性的影响，且独立于硬件或网络拓扑等系统细节。

提出的方法

• 提出一个通用框架 MixML，将并行学习中的通信抽象为一系列状态转移。
• 将混合时间 $t_{\text{mix}}$ 定义为工作者达成共识速度的度量，借鉴马尔可夫链理论。
• 建立统一的收敛性分析，其界仅依赖于 $t_{\text{mix}}$，从而实现计算与通信细节的解耦。
• 提出一种转换方法，利用 $t_{\text{mix}}$ 将现有串行收敛证明转化为并行版本。
• 将该框架应用于标准优化算法（如 SGD、AMSGrad 和 RMSProp），推导出新的或改进的收敛界。
• 设计实验，通过降低通信频率和调整松弛矩阵，改变 $t_{\text{mix}}$ 以验证理论。

实验结果

研究问题

• RQ1 一个单一的统一参数能否有效捕捉不同通信协议对弱一致性并行学习收敛性的影响？
• RQ2 混合时间 $t_{\text{mix}}$ 与 SGD 和 AMSGrad 等并行优化算法的收敛速率有何关系？
• RQ3 能否仅基于 $t_{\text{mix}}$ 系统性地将串行算法的收敛证明适配到并行设置？
• RQ4 不同通信协议（如集中式、去中心式、同步式和异步式）如何影响混合时间，进而影响学习收敛性？
• RQ5 数值精度在多大程度上限制了通过参数缩放（如松弛矩阵方法）调节混合时间的实际可行性？

主要发现

• 混合时间 $t_{\text{mix}}$ 有效量化了通信协议对收敛性的影响，$t_{\text{mix}}$ 越高，共识越慢，收敛也越慢。
• 与松弛矩阵方法相比，降低通信频率在提高 $t_{\text{mix}}$ 时更具鲁棒性，尤其在大值时，因数值误差更小。
• 当通过松弛矩阵方法将 $t_{\text{mix}}$ 提高 1000 倍时，出现数值精度问题（如更新值低于 1e-9），导致训练不稳定。
• 该框架恢复并改进了异步和去中心化 SGD 与 AMSGrad 变体的已知收敛界。
• 在 CIFAR-10 上对 ResNet20 的训练实验表明，随着 $t_{\text{mix}}$ 增大，收敛速率下降，验证了理论依赖关系。
• 在所测试的协议中，AsyncDR（异步去中心化环形）在增加工作者数量时表现出最快的 $t_{\text{mix}}$ 增长，反映出其较高的通信延迟。