[论文解读] Topology-aware Generalization of Decentralized SGD

Tongtian Zhu, Fengxiang He+4 more|arXiv (Cornell University)|Jun 25, 2022

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文首次为原始去中心化随机梯度下降（D-SGD）建立了拓扑感知的泛化边界，证明了泛化误差与 $\mathcal{O}(N^{-(1+\alpha)/2} + m^{-(1+\alpha)/2} + \lambda^{1+\alpha} + \phi_{\mathcal{S}})$ 成比例，其中 $\lambda$ 为通信拓扑的谱隙。理论表明，更高的连通性（更大的 $1-\lambda$）可改善泛化性能，并在 VGG-11 和 ResNet-18 上对 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 的实验中得到验证。

ABSTRACT

This paper studies the algorithmic stability and generalizability of decentralized stochastic gradient descent (D-SGD). We prove that the consensus model learned by D-SGD is $\mathcal{O}{(N^{-1}+m^{-1} +λ^2)}$-stable in expectation in the non-convex non-smooth setting, where $N$ is the total sample size, $m$ is the worker number, and $1+λ$ is the spectral gap that measures the connectivity of the communication topology. These results then deliver an $\mathcal{O}{(N^{-(1+α)/2}+ m^{-(1+α)/2}+λ^{1+α} + ϕ_{\mathcal{S}})}$ in-average generalization bound, which is non-vacuous even when $λ$ is closed to $1$, in contrast to vacuous as suggested by existing literature on the projected version of D-SGD. Our theory indicates that the generalizability of D-SGD is positively correlated with the spectral gap, and can explain why consensus control in initial training phase can ensure better generalization. Experiments of VGG-11 and ResNet-18 on CIFAR-10, CIFAR-100 and Tiny-ImageNet justify our theory. To our best knowledge, this is the first work on the topology-aware generalization of vanilla D-SGD. Code is available at https://github.com/Raiden-Zhu/Generalization-of-DSGD.

研究动机与目标

• 理解通信拓扑如何影响去中心化随机梯度下降（D-SGD）的泛化性能。
• 填补在非凸、非光滑设置下对 D-SGD 泛化理论理解的空白。
• 提供即使在工作节点数量较多或拓扑稀疏时仍具有意义的非平凡泛化边界。
• 基于网络的谱特性，解释为何在训练早期阶段的共识控制能改善泛化性能。

提出的方法

• 在非凸、非光滑设置下推导了 D-SGD 的分布式平均算法稳定性，表明其在期望下具有 $\mathcal{O}(N^{-1} + m^{-1} + \lambda^2)$ 的稳定性。
• 使用谱隙 $1 - \lambda$ 作为网络连通性的度量，推导出拓扑感知的泛化边界。
• 建立了泛化边界 $\mathcal{O}(N^{-(1+\alpha)/2} + m^{-(1+\alpha)/2} + \lambda^{1+\alpha} + \phi_{\mathcal{S}})$，其中 $\phi_{\mathcal{S}}$ 反映了数据相关的噪声。
• 分析了工作节点数 $m$ 和拓扑稀疏性（通过 $\lambda$ 表示）对泛化的影响，表明环形、网格和指数图拓扑下的泛化性能会下降。
• 采用了一种新颖的稳定性分析框架，考虑了去中心化共识动态和通信拓扑的影响。
• 通过在 VGG-11 和 ResNet-18 上对 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 的实验，验证了理论发现。

实验结果

研究问题

• RQ1 通信拓扑的谱隙如何影响 D-SGD 的泛化性能？
• RQ2 能否在非凸、非光滑设置下为原始 D-SGD 推导出非平凡的泛化边界？
• RQ3 为何在训练早期阶段的共识控制能改善 D-SGD 的泛化性能？
• RQ4 增加工作节点数量在不同拓扑下如何影响泛化性能？
• RQ5 D-SGD 的泛化能力是否会在稀疏或连通性差的拓扑下退化？

主要发现

• 在非凸、非光滑设置下，D-SGD 学习到的共识模型在期望下具有 $\mathcal{O}(N^{-1} + m^{-1} + \lambda^2)$ 的稳定性。
• 泛化误差边界为 $\mathcal{O}(N^{-(1+\alpha)/2} + m^{-(1+\alpha)/2} + \lambda^{1+\alpha} + \phi_{\mathcal{S}})$，即使当 $\lambda \to 1$ 或 $m$ 较大时仍保持非平凡。
• 泛化能力与谱隙 $1 - \lambda$ 呈正相关，表明连通性更高的拓扑能带来更好的泛化性能。
• 该理论解释了为何早期训练阶段的共识控制能改善泛化：它在关键训练阶段增强了稳定性。
• 在 VGG-11 和 ResNet-18 上的实验结果表明，环形、网格和指数图拓扑下，随着工作节点数增加，泛化性能下降，与理论预测一致。
• 本工作首次为原始 D-SGD 提供了拓扑感知的泛化分析，区别于以往针对投影 D-SGD 的研究。