[論文レビュー] Decentralized Stochastic Gradient Tracking for Non-convex Empirical Risk Minimization

Jiaqi Zhang, Keyou You|arXiv (Cornell University)|Sep 6, 2019

Stochastic Gradient Optimization Techniques参考文献 60被引用数 25

ひとこと要約

本稿は、ピアツーピアネットワークにおける非凸な経験的リスク最小化のための分散型確率的勾配追跡（DSGT）アルゴリズムを提案する。各ノードは、ローカルデータサイズに比例するミニバッチ確率的勾配を使用する。非漸近的収束速度 $ O(1/\text{sum of stepsizes}) $ を確立し、条件を満たせばネットワーク依存性を示さず、一部の状況では線形スケーリングを達成する。性能は集中型SGDと同等である。

ABSTRACT

This paper studies a decentralized stochastic gradient tracking (DSGT) algorithm for non-convex empirical risk minimization problems over a peer-to-peer network of nodes, which is in sharp contrast to the existing DSGT only for convex problems. To ensure exact convergence and handle the variance among decentralized datasets, each node performs a stochastic gradient (SG) tracking step by using a mini-batch of samples, where the batch size is designed to be proportional to the size of the local dataset. We explicitly evaluate the convergence rate of DSGT with respect to the number of iterations in terms of algebraic connectivity of the network, mini-batch size, gradient variance, etc. Under certain conditions, we further show that DSGT has a network independence property in the sense that the network topology only affects the convergence rate up to a constant factor. Hence, the convergence rate of DSGT can be comparable to the centralized SGD method. Moreover, a linear speedup of DSGT with respect to the number of nodes is achievable for some scenarios. Numerical experiments for neural networks and logistic regression problems on CIFAR-10 finally illustrate the advantages of DSGT.

研究の動機と目的

• 非凸設定における分散型確率的勾配法の収束保証の欠如、特に非均質かつ分散型データセットに対して。
• ローカルデータ分布とサイズのばらつきにもかかわらず、正確に停留点に収束する分散型アルゴリズムの開発。
• ネットワークの代数的連結度、ミニバッチサイズ、勾配の分散、ステップサイズルールを考慮した、提案されたDSGTアルゴリズムの収束速度の分析。
• ネットワークトポロジーが収束に与える影響が定数係数の範囲内にとどまる条件を特定し、収束行動におけるネットワーク独立性を追求。
• 特定の条件下でノード数に比例した線形スケーリングを達成し、分散学習のスケーラビリティを向上。

提案手法

• 各ノードがローカルデータのミニバッチを使用してグローバル勾配の局所的推定値を維持する分散型確率的勾配追跡（DSGT）アルゴリズムを提案。
• 分散と通信効率のバランスを取るために、ミニバッチサイズをローカルデータセットサイズに比例させる。
• 隣接ノード間の通信を用いて、ネットワーク全体の平均勾配を追跡する勾配追跡メカニズムを導入。
• 混合行列 $ W $ を用いたコセンサスベースの更新ルールにより、局所的勾配と状態を統合し、ノード間の整合性を確保。
• 収束の異なる条件を分析するため、定数ステップサイズと減少ステップサイズの両方を適用。
• 収束速度の境界において、通信グラフの代数的連結度 $ (1 - \rho) $ を重要なパラメータとして活用。

実験結果

リサーチクエスチョン

• RQ1 分散型確率的勾配法は、非均質なローカルデータセットを持つ非凸な経験的リスク最小化に対して、正確な収束を達成できるか？
• RQ2 DSGTの収束速度は、ネットワークの代数的連結度、ミニバッチサイズ、勾配の分散にどのように依存するか？
• RQ3 どのような条件下でネットワークトポロジーが収束速度に与える影響が定数係数の範囲内にとどまり、収束のネットワーク独立性が成立するか？
• RQ4 DSGTアルゴリズムは、分散学習においてノード数に比例した線形スケーリングを達成できるか？
• RQ5 目的関数が凸である場合、DSGT法は最適解に収束するか？また、その収束速度は集中型SGDと比べてどうか？

主な発見

• DSGTアルゴリズムは、非漸近的収束速度 $ O\big{(} \frac{1}{\text{sum of stepsizes}} \big{(} D + \rho^2 \frac{\rho^2 \rho^2}{(1-\rho)^3} \text{sum of stepsizes}^3 \big{)} \big{)} $ を達成する。ここで $ D $ は初期誤差に関連し、$ \rho $ は代数的連結度であり、$ \rho^2 \frac{\rho^2 \rho^2}{(1-\rho)^3} $ は勾配の分散効果を捉える。
• 定数ステップサイズの場合、収束速度は $ O\big{(} \frac{D\theta}{\theta} + \frac{\rho^2 D^2}{(1-\rho)^3 K} \big{)} $ となり、適切な条件下で $ 1/K $-レートを示す。
• 減少ステップサイズ $ \theta_k = O(1/k^p) $ で $ p \neq 0.5 $ の場合、レートは $ O(1/k^{1-p}) $ であり、$ p = 0.5 $ の場合は $ O(\text{ln}(k)/\theta) $ となる。これは非線形収束を示唆する。
• 条件 $ \frac{\rho^2}{(1-\rho)^3} \text{sum of stepsizes}^3 = O(\text{sum of stepsizes}^2) $ を満たすと、アルゴリズムはネットワーク独立性を示す。これは、ネットワークが収束に与える影響が定数係数の範囲内にとどまることを意味する。
• この条件下で、DSGTの収束速度は集中型SGDと同等となり、分散学習が収束速度の面で集中型性能を模倣できることを示唆する。
• CIFAR-10における数値実験では、DSGTが深層ニューラルネットワークおよびロジスティック回帰の学習で競争力のある性能を達成しており、理論的予測とスケーリングの可能性を実証している。