[論文レビュー] Demystifying Why Local Aggregation Helps: Convergence Analysis of Hierarchical SGD

Jiayi Wang, Shiqiang Wang+2 more|arXiv (Cornell University)|Oct 24, 2020

Energy Efficient Wireless Sensor Networks被引用数 5

ひとこと要約

本稿は、非IID、非凸、確率的設定における学習を改善する理由を説明するために、'上向き'および'下向き'の発散を用いた階層的SGD（H-SGD）の新しい収束解析を提示する。H-SGDの収束上界が二つの単一レベルの局所的SGD設定の間にあることを証明し、'サンドイッチ的挙動'を示す。これにより、階層的集約がデータの非均一性を緩和し、グローバル収束を向上させる理論的洞察が得られる。

ABSTRACT

Hierarchical SGD (H-SGD) has emerged as a new distributed SGD algorithm for multi-level communication networks. In H-SGD, before each global aggregation, workers send their updated local models to local servers for aggregations. Despite recent research efforts, the effect of local aggregation on global convergence still lacks theoretical understanding. In this work, we first introduce a new notion of "upward" and "downward" divergences. We then use it to conduct a novel analysis to obtain a worst-case convergence upper bound for two-level H-SGD with non-IID data, non-convex objective function, and stochastic gradient. By extending this result to the case with random grouping, we observe that this convergence upper bound of H-SGD is between the upper bounds of two single-level local SGD settings, with the number of local iterations equal to the local and global update periods in H-SGD, respectively. We refer to this as the "sandwich behavior". Furthermore, we extend our analytical approach based on "upward" and "downward" divergences to study the convergence for the general case of H-SGD with more than two levels, where the "sandwich behavior" still holds. Our theoretical results provide key insights of why local aggregation can be beneficial in improving the convergence of H-SGD.

研究の動機と目的

• 非IIDデータ、非凸目的関数、確率的勾配の下で、H-SGDにおける局所的集約がなぜ収束を改善するのかを理論的に理解すること。
• データの非均一性と通信効率制約を伴う現実的な分散環境におけるH-SGDの理論的解析の不足を解消すること。
• データの非均一性を'上向き'および'下向き'の発散を通じて特徴づけ、階層的レベル間でのモデル発散の洗練された解析を可能にすること。
• H-SGDの収束上界を確立し、多段階集約の根本的利点を明らかにすること。
• 分析を多段階H-SGDに拡張し、複数の階層レベルにわたり'サンドイッチ的挙動'が継続することを示すこと。

提案手法

• H-SGDにおけるグローバルモデル発散を分解するために、'上向き'および'下向き'の発散を用いた新しい理論枠組みを導入する。
• 非IIDデータ、非凸目的関数、確率的勾配の下で、二段階H-SGDの最悪ケース収束上界を定式化する。
• ランダムなグループ化の状況への拡張により、収束上界のロバストネスと一般化性を示す。
• H-SGDの収束上界が、局所的更新周期Iとグローバル更新周期Gをそれぞれ持つ二つの単一レベルの局所的SGD設定の上界の間にあることを示し、'サンドイッチ的挙動'を定義する。
• 発散に基づく解析を多段階H-SGD（M ≥ 3段階）に一般化し、高次元の階層においても'サンドイッチ的挙動'が成立することを証明する。
• この枠組みを用いて、部分的なワーカー参加や異なるグループサイズの下での性能を分析し、理論的洞察を実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 非IIDデータと確率的勾配の下でも、H-SGDにおける局所的集約がなぜ収束を改善するのか？
• RQ2 異なる集約周期におけるH-SGDの収束は、単一レベルの局所的SGDと比べてどう異なるか？
• RQ3 'サンドイッチ的挙動'—すなわち、H-SGDの収束が二つの局所的SGDレジームの間にある—を理論的に証明し、多段階システムに一般化できるか？
• RQ4 '上向き'および'下向き'の発散は、階層的通信レイヤー間でのモデル発散をどのように特徴づけるか？
• RQ5 ランダムなグループ化や部分的なワーカー参加下でも、局所的集約の理論的利点は維持されるか？

主な発見

• 非IIDデータ、非凸目的関数、確率的勾配の下でのH-SGDの提案された収束上界は、従来の研究と比較してよりタイトで包括的であり、それらはいずれもIIDデータを仮定するか、バッチ勾配を用いている。
• H-SGDの収束上界は、集約周期がそれぞれIおよびGの二つの単一レベルの局所的SGD設定の上界の間にある。これを'サンドイッチ的挙動'と呼ぶ。
• 3段階以上（M ≥ 3）の多段階H-SGDにおいても'サンドイッチ的挙動'が継続する。これは、階層的集約が単一レベルのアプローチよりも体系的に改善をもたらすことを示している。
• ランダムなグループ化の下でも、H-SGDの収束上界は依然として有界であり、二つの局所的SGDレジームの間にある。これは、グループ化戦略に対してロバストであることを示している。
• FEMNIST、CelebA、CIFAR-10における実験により、H-SGDが多段階集約を用いることで、特に通信遅延が高い状況下でも、単一レベルの局所的SGDと比較してより高いテスト精度と低い訓練損失を達成することが確認された。
• より大きなグローバル周期（例：P₁=200, P₂=40, P₃=20）を有する3段階H-SGD設定は、より小さなグローバル周期を有する単一レベルH-SGDよりも優れた性能を示した。これは、階層的集約が通信コストを削減しつつ収束を損なわないことを示している。