[论文解读] Gossip training for deep learning

Michaël Blot, David Picard+2 more|arXiv (Cornell University)|Nov 29, 2016

Stochastic Gradient Optimization Techniques参考文献 13被引用 37

一句话总结

本文提出 GoSGD，一种完全异步且去中心化的基于八卦传播的深度学习训练方法，通过在工作者之间实现点对点的权重平均，加速随机梯度下降（SGD）的收敛。在 CIFAR-10 上的实验表明，GoSGD 在约 4 小时内达到更低的训练损失，而 EASGD 需要 7 小时以上，证明其在极低通信开销下具备更高的效率和更快的共识速度。

ABSTRACT

We address the issue of speeding up the training of convolutional networks. Here we study a distributed method adapted to stochastic gradient descent (SGD). The parallel optimization setup uses several threads, each applying individual gradient descents on a local variable. We propose a new way to share information between different threads inspired by gossip algorithms and showing good consensus convergence properties. Our method called GoSGD has the advantage to be fully asynchronous and decentralized. We compared our method to the recent EASGD in \cite{elastic} on CIFAR-10 show encouraging results.

研究动机与目标

• 为解决具有大量参数的深度卷积神经网络（CNN）训练速度慢的问题。
• 通过消除中心化参数服务器，减少分布式 SGD 中的同步瓶颈。
• 通过八卦风格的点对点通信，提升分布式工作者之间的共识。
• 在保持模型准确率的同时，以极低的通信开销实现更快的收敛。
• 通过与 EASGD 的实证比较，验证八卦式平均在深度学习中的有效性。

提出的方法

• GoSGD 使用 M 个独立的工作者，每个工作者维护一个 CNN 权重的本地副本 $x_i$ 和一个混合权重 $\alpha_i$，初始值设为 $1/M$。
• 每个工作者使用小批量梯度 $v_i^t$ 和学习率 $\eta^t$ 执行本地 SGD 更新。
• 以概率 $p$，每个工作者随机选择一个对等节点，执行带权重的八卦更新，以混合权重并更新混合权重。
• 通过成对交换维持共识，确保指数收敛至平均值 $\overline{x}^t = \frac{1}{M}\sum x_i^t$。
• 最终测试模型为所有工作者权重的平均值，得益于共识带来的梯度近似改善，从而提升优化稳定性。
• 该方法完全异步且去中心化，无需同步或中心化协调。

实验结果

研究问题

• RQ1 基于八卦的通信能否提升分布式 SGD 在深度学习中的收敛速度？
• RQ2 在 CIFAR-10 上，GoSGD 与 EASGD 在训练时间和损失收敛方面有何差异？
• RQ3 八卦交换概率 $p$ 对共识和训练效率有何影响？
• RQ4 去中心化、异步训练能否在减少通信和同步开销的同时保持模型准确率？
• RQ5 点对点的权重平均是否能提供比中心化参数服务器更优的梯度近似？

主要发现

• 在处理相同数量图像后，GoSGD 达到的训练损失低于 EASGD，表明收敛速度更快。
• 当 $p = 1$ 时，GoSGD 在损失减少方面优于 EASGD，表明其共识和信息共享能力更强。
• 当 $p = 0.02$ 时，GoSGD 在约 4 小时内达到相同训练损失，而 EASGD 耗时超过 7 小时。
• 该方法表明，低频次的八卦交换（$p = 0.01$）仍能确保强共识，显著降低通信成本而不影响性能。
• GoSGD 的去中心化和异步设计消除了空闲时间，实现了 GPU 资源的更快利用。
• 工作者模型的平均化产生了测试模型，由于共识带来的梯度近似改善，从而增强了优化稳定性。