[論文レビュー] Topology-aware Generalization of Decentralized SGD

Tongtian Zhu, Fengxiang He+4 more|arXiv (Cornell University)|Jun 25, 2022

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿は、バニラ型分散確率的勾配降下法（D-SGD）における最初のトポロジーに配慮した一般化境界を確立し、一般化誤差が $\mathcal{O}(N^{-(1+\alpha)/2} + m^{-(1+\alpha)/2} + \lambda^{1+\alpha} + \phi_{\mathcal{S}})$ に比例することを証明している。ここで $\lambda$ は通信トポロジーのスペクトルギャップを表す。理論により、より良い接続性（$1-\lambda$ が大きい）が一般化性能の向上に寄与することが示され、CIFAR-10、CIFAR-100、Tiny-ImageNet における VGG-11 および ResNet-18 における実験でもその妥当性が検証された。

ABSTRACT

This paper studies the algorithmic stability and generalizability of decentralized stochastic gradient descent (D-SGD). We prove that the consensus model learned by D-SGD is $\mathcal{O}{(N^{-1}+m^{-1} +λ^2)}$-stable in expectation in the non-convex non-smooth setting, where $N$ is the total sample size, $m$ is the worker number, and $1+λ$ is the spectral gap that measures the connectivity of the communication topology. These results then deliver an $\mathcal{O}{(N^{-(1+α)/2}+ m^{-(1+α)/2}+λ^{1+α} + ϕ_{\mathcal{S}})}$ in-average generalization bound, which is non-vacuous even when $λ$ is closed to $1$, in contrast to vacuous as suggested by existing literature on the projected version of D-SGD. Our theory indicates that the generalizability of D-SGD is positively correlated with the spectral gap, and can explain why consensus control in initial training phase can ensure better generalization. Experiments of VGG-11 and ResNet-18 on CIFAR-10, CIFAR-100 and Tiny-ImageNet justify our theory. To our best knowledge, this is the first work on the topology-aware generalization of vanilla D-SGD. Code is available at https://github.com/Raiden-Zhu/Generalization-of-DSGD.

研究の動機と目的

• 通信トポロジーが分散確率的勾配降下法（D-SGD）の一般化性能に与える影響を理解すること。
• 非凸的・非滑らか設定における D-SGD 一般化の理論的理解のギャップを埋めること。
• 大規模ワーカー数やスパarsなトポロジーに対しても意味を持つ、非自明な一般化境界を提供すること。
• 初期学習段階における一貫性制御がなぜ一般化性能を向上させるのかを、ネットワークのスペクトル特性に基づいて説明すること。

提案手法

• 非凸的・非滑らか設定における D-SGD の分散的平均的アルゴリズム的安定性を導出し、期待値において $\mathcal{O}(N^{-1} + m^{-1} + \lambda^2)$ の安定性を示した。
• ネットワークの接続性の指標としてスペクトルギャップ $1 - \lambda$ を用い、トポロジーに配慮した一般化境界を導出した。
• 一般化境界を $\mathcal{O}(N^{-(1+\alpha)/2} + m^{-(1+\alpha)/2} + \lambda^{1+\alpha} + \phi_{\mathcal{S}})$ として確立した。ここで $\phi_{\mathcal{S}}$ はデータ固有のノイズを捉える。
• ワーカー数 $m$ とトポロジーのスパarsity（$\lambda$ を通じて）が一般化に与える影響を分析し、リング型、グリッド型、指数型グラフにおいて劣化が生じることを示した。
• 分散型一貫性ダイナミクスと通信トポロジーを考慮した、新たな安定性解析フレームワークを採用した。
• CIFAR-10、CIFAR-100、Tiny-ImageNet における VGG-11 および ResNet-18 を用いた実験により、理論的予測を検証した。

実験結果

リサーチクエスチョン

• RQ1 通信トポロジーのスペクトルギャップは、D-SGD の一般化にどのように影響するか？
• RQ2 非凸的・非滑らか設定下で、バニラ型 D-SGD に対して非自明な一般化境界を導出できるか？
• RQ3 なぜ初期段階での一貫性制御が D-SGD の一般化性能を向上させるのか？
• RQ4 ワーカー数の増加が、異なるトポロジー下での一般化にどのように影響するか？
• RQ5 スパarsまたは接続性が低いトポロジーでは、D-SGD の一般化可能性が劣化するか？

主な発見

• 非凸的・非滑らか設定下で、D-SGD が学習する一貫性モデルは、期待値において $\mathcal{O}(N^{-1} + m^{-1} + \lambda^2)$ の安定性を示す。
• 一般化誤差境界は $\mathcal{O}(N^{-(1+\alpha)/2} + m^{-(1+\alpha)/2} + \lambda^{1+\alpha} + \phi_{\mathcal{S}})$ であり、$\lambda \to 1$ であっても、または $m$ が大きくても非自明なまま保たれる。
• 一般化性能はスペクトルギャップ $1 - \lambda$ と正の相関があることが示され、より良好な接続性のトポロジーが優れた一般化をもたらすことがわかった。
• 理論により、初期段階での一貫性制御が一般化を向上させる理由が説明された：これは、重要な学習段階での安定性を高めるからである。
• VGG-11 および ResNet-18 を用いた実験により、リング型、グリッド型、指数型トポロジーにおいて、ワーカー数の増加に伴い一般化性能が劣化することが確認され、理論的予測と整合的であった。
• 本研究は、バニラ型 D-SGD に対してトポロジーに配慮した一般化解析を初めて提供した。これは、先行研究の射影型 D-SGD とは明確に区別される。