[论文解读] Collaborative Deep Learning in Fixed Topology Networks

Zhanhong Jiang, Aditya Balu+2 more|arXiv (Cornell University)|Jun 23, 2017

Distributed Control Multi-Agent Systems参考文献 17被引用 77

一句话总结

论文提出共识型分布式 SGD（CDSGD）及其动量变体（CDMSGD），用于固定拓扑图上的协作深度学习，实现数据并行和去中心化计算，并对凸/非凸目标给出收敛性保证，同时在 CIFAR-10/100 上对比集中式 SGD 和 FedAvg 进行实证验证。

ABSTRACT

There is significant recent interest to parallelize deep learning algorithms in order to handle the enormous growth in data and model sizes. While most advances focus on model parallelization and engaging multiple computing agents via using a central parameter server, aspect of data parallelization along with decentralized computation has not been explored sufficiently. In this context, this paper presents a new consensus-based distributed SGD (CDSGD) (and its momentum variant, CDMSGD) algorithm for collaborative deep learning over fixed topology networks that enables data parallelization as well as decentralized computation. Such a framework can be extremely useful for learning agents with access to only local/private data in a communication constrained environment. We analyze the convergence properties of the proposed algorithm with strongly convex and nonconvex objective functions with fixed and diminishing step sizes using concepts of Lyapunov function construction. We demonstrate the efficacy of our algorithms in comparison with the baseline centralized SGD and the recently proposed federated averaging algorithm (that also enables data parallelism) based on benchmark datasets such as MNIST, CIFAR-10 and CIFAR-100.

研究动机与目标

• 在每个代理持有本地私有数据、通信受固定拓扑约束的情形下，推动可扩展的分布式深度学习。
• 开发 CDSGD（及 CDMSGD），在网络约束下实现数据并行性和去中心化计算。
• 给出使用 Lyapunov 函数构造的强凸与非凸目标的收敛性分析。
• 与 centralized SGD 和 Federated Averaging 进行基准比较，以评估收敛速度、准确性和泛化能力。

提出的方法

• 在带有双随机交互矩阵 Pi 的固定无向图上定义分布式经验风险最小化问题。
• 提出 CDSGD：对每个代理 j，有 x_{k+1}^j = ∑_{l∈Nb(j)} π_jl x_k^l − α g_j(x_k^j)。
• 引入 Lyapunov 函数 V(x, alpha) = (N/n) 1^T F(x) + (1/(2 alpha)) ||x||_{I−Pi}^2 以分析收敛性。
• 建立一致性结果，表明 E[||x_k^j − s_k||] ≤ α L / (1 − λ_2(Pi))。
• 给出在假设 1–3 下，强凸（线性收敛到一个邻域）和非凸（梯度和有界）的收敛定理。
• 提及对动量变体（CDMSGD）及下降步长（附录材料）的扩展。

实验结果

研究问题

• RQ1 当数据分布在由固定拓扑连接的代理之间时，CDSGD 能否实现一致性并收敛？
• RQ2 在 CDSGD/CDMSGD 下，强凸和非凸目标可达到的收敛速度和稳态准确度是什么？
• RQ3 网络拓扑（谱隙）如何影响在集中式 SGD 或 FedAvg 相比下的收敛性、一致性和最终准确度？
• RQ4 与集中基线和 FedAvg 相比，CDSGD/CDMSGD 是否改善了泛化能力（训练与验证差距）？
• RQ5 固定步长与减小步长如何影响收敛区间和实际性能？

主要发现

• CDSGD 在有限步长下实现了代理之间的一致性，一致性误差被 α 和图的谱间隙（Pi 的 λ_2）所界定。
• 对于强凸目标，CDSGD 线性收敛到最优解的一个邻域；该邻域随更小的步长减小，且随更大的谱隙增加而改善。
• 对于非凸目标，CDSGD 在迭代中梯度范数的和有界，意味着在实际意义上收敛到驻点。
• CDMSGD 在稳态准确度上可能优于 FedAvg，同时保留去中心化计算，在足够的训练轮数下接近集中式 SGD 的性能。
• 在 CIFAR-10/100 的实证结果显示，CDSGD 的最终准确度与集中式 SGD 或 FedAvg 相当或更高，且泛化差距更小；网络规模与拓扑对一致性稳定性和学习动态有积极影响。