[论文解读] Exponential Graph is Provably Efficient for Decentralized Deep Training

Bicheng Ying, Kun Yuan+4 more|arXiv (Cornell University)|Oct 26, 2021

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文提出指数图——具体为静态版和单邻居版本——用于去中心化深度学习训练，证明其可在每轮迭代中实现近乎精确的平均化，且通信开销极低。研究表明，一系列 log(n) 个单邻居指数图可实现精确平均化，且每轮仅需每个节点与一个邻居通信，其在通信成本与收敛速度之间的平衡优于所有常见拓扑结构。

ABSTRACT

Decentralized SGD is an emerging training method for deep learning known for its much less (thus faster) communication per iteration, which relaxes the averaging step in parallel SGD to inexact averaging. The less exact the averaging is, however, the more the total iterations the training needs to take. Therefore, the key to making decentralized SGD efficient is to realize nearly-exact averaging using little communication. This requires a skillful choice of communication topology, which is an under-studied topic in decentralized optimization. In this paper, we study so-called exponential graphs where every node is connected to $O(\log(n))$ neighbors and $n$ is the total number of nodes. This work proves such graphs can lead to both fast communication and effective averaging simultaneously. We also discover that a sequence of $\log(n)$ one-peer exponential graphs, in which each node communicates to one single neighbor per iteration, can together achieve exact averaging. This favorable property enables one-peer exponential graph to average as effective as its static counterpart but communicates more efficiently. We apply these exponential graphs in decentralized (momentum) SGD to obtain the state-of-the-art balance between per-iteration communication and iteration complexity among all commonly-used topologies. Experimental results on a variety of tasks and models demonstrate that decentralized (momentum) SGD over exponential graphs promises both fast and high-quality training. Our code is implemented through BlueFog and available at https://github.com/Bluefog-Lib/NeurIPS2021-Exponential-Graph.

研究动机与目标

• 通过设计最优通信拓扑，解决去中心化SGD中每轮通信成本与收敛速度之间的权衡问题。
• 克服稀疏拓扑因信息聚合效率低下而导致瞬态迭代次数过高的局限性。
• 为指数图在去中心化训练中取得经验成功提供理论依据，特别是其以最小通信开销实现精确平均化的能力。
• 证明单邻居指数图——即每轮每个节点仅与一个邻居通信——仍可在 log(n) 轮内实现精确平均化，从而实现高效且可扩展的训练。

提出的方法

• 提出指数图的两种变体：静态版（每个节点连接 O(log n) 个邻居）和单邻居版（每个节点循环遍历邻居，每轮仅与一个邻居通信）。
• 理论分析静态指数图的谱隙，证明其上界为 O(1/log₂n)，纠正了文献中先前关于其为 O(1) 的错误说法。
• 证明任意 log₂(n) 个连续的单邻居指数图序列均可实现精确平均化，尽管其为时变结构且每轮仅有一个通信链路。
• 将指数图拓扑应用于去中心化（动量）SGD，采用Metropolis规则构造对称权重矩阵，以确保收敛性。
• 使用BlueFog进行实现，并在多种模型与任务上进行评估，以验证性能与可扩展性。
• 与标准拓扑（如环形、网格、随机图、星型等）进行比较，采用最大度数和 1−ρ（谱隙）等指标，表明指数图在通信成本与收敛效率之间实现了更优权衡。

实验结果

研究问题

• RQ1 指数图能否在去中心化SGD中同时实现低每轮通信开销与快速收敛？
• RQ2 静态指数图的真实谱隙是多少？与文献中先前的声称相比如何？
• RQ3 单邻居指数图——即每轮每个节点仅与一个邻居通信——是否仍能随时间实现精确平均化？
• RQ4 指数图的瞬态迭代复杂度与去中心化训练中其他常用拓扑相比如何？
• RQ5 在去中心化（动量）SGD中使用指数图是否能在通信效率与收敛速度方面实现最先进性能？

主要发现

• 静态指数图的谱隙被证明为 O(1/log₂n)，纠正了文献中先前声称的 O(1) 的错误说法。
• 一系列 log₂(n) 个单邻居指数图可实现精确平均化，即使每轮通信开销极低，也能实现高收敛效率。
• 单邻居指数图拓扑在瞬态迭代复杂度上与静态指数图相当——均为 O(n³ log²₂n)，但每轮仅需每个节点一个通信链路。
• 指数图在平衡每轮通信开销与瞬态迭代复杂度方面，优于所有常用拓扑（如环形、网格、随机图、星型等）。
• 在多种模型与任务上的实证结果表明，采用指数图的去中心化（动量）SGD可实现快速且高质量的训练。
• 所提方法在通信成本与收敛速度之间的权衡上达到最先进性能，经由BlueFog实现并公开代码，得到验证。