[論文レビュー] Faster Convergence of Local SGD for Over-Parameterized Models

Tiancheng Qin, S. Rasoul Etesami+1 more|arXiv (Cornell University)|Jan 30, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文は、非均一データ下での過パラメータ化モデルにおけるLocal SGDの収束速度を高速化することを確立し、強い凸性損失では指数的収束（$\mathcal{O}(\exp(-T))$）を証明し、一般凸損失では緩いデータ類似性のもとで$\mathcal{O}(1/T)$を達成し、従来の$\mathcal{O}(\exp(-T/K))$および一般/非凸ケースでは知られていなかったレートを著しく改善する。

ABSTRACT

Modern machine learning architectures are often highly expressive. They are usually over-parameterized and can interpolate the data by driving the empirical loss close to zero. We analyze the convergence of Local SGD (or FedAvg) for such over-parameterized models in the heterogeneous data setting and improve upon the existing literature by establishing the following convergence rates. For general convex loss functions, we establish an error bound of $Ø(1/T)$ under a mild data similarity assumption and an error bound of $Ø(K/T)$ otherwise, where $K$ is the number of local steps and $T$ is the total number of iterations. For non-convex loss functions we prove an error bound of $Ø(K/T)$. These bounds improve upon the best previous bound of $Ø(1/\sqrt{nT})$ in both cases, where $n$ is the number of nodes, when no assumption on the model being over-parameterized is made. We complete our results by providing problem instances in which our established convergence rates are tight to a constant factor with a reasonably small stepsize. Finally, we validate our theoretical results by performing large-scale numerical experiments that reveal the convergence behavior of Local SGD for practical over-parameterized deep learning models, in which the $Ø(1/T)$ convergence rate of Local SGD is clearly shown.

研究の動機と目的

• 過パラメータ化モデルにおける非均一データ下でのLocal SGDの理論的収束保証のギャップを埋めること。
• 大規模な深層学習におけるLocal SGDとMinibatch SGDの間で観察されるより速い経験的収束を説明すること。
• 現代の過パラメータ化モデルに一般的な補間仮定のもとで、より緊密な収束レートを確立すること。
• 実データおよび合成データを用いた大規模数値実験を通じて理論的発見を検証すること。
• 小さなステップサイズスキーム下での問題例を用いて導出された境界のタイトネスを示すこと。

提案手法

• 補間仮定（実効損失をゼロに引き下げられる）の下でのLocal SGDの分析。
• 収束をバインドするための、一貫性誤差$V_t$と勾配変動$h_t$を組み合わせた新しい分析フレームワークの導入。
• 累積的バインドを導出するための、誤差$e_t = f(x^t) - f(x^*)$に対するテレスコピック和の議論。
• 勾配誤差と一貫性誤差の項をバランスさせるために、ステップサイズ$\eta = \frac{1}{3KL\rho}$を適用。
• 滑らかさおよび勾配の有界性仮定を活用して、局所ステップ間での誤差伝搬を制御。
• 再帰的アンローリングと$\rho \geq 1$の性質を用いて$V_t$の境界を確立し、最終的な誤差表現を単純化。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化モデルにおける非均一データ下で、Local SGDはMinibatch SGDより速い収束を達成できるか？
• RQ2 過パラメータ化下で、強い凸性、一般凸性、非凸性の各設定におけるLocal SGDの可能な限りタイトな収束レートは何か？
• RQ3 データの非均一性は収束にどのように影響するか？緩いデータ類似性仮定はレートを改善できるか？
• RQ4 導出された収束レートはタイトか？それらは問題例によって達成可能か？
• RQ5 理論的境界は大規模な深層学習環境において経験的に検証可能か？

主な発見

• 強い凸性損失関数では、Local SGDが$\mathcal{O}(\exp(-T))$という指数的収束レートを達成し、従来の$\mathcal{O}(\exp(-T/K))$を改善する。
• 一般凸損失では、緩いデータ類似性仮定のもとで$\mathcal{O}(1/T)$のレートが確立され、そうでない場合には$\mathcal{O}(K/T)$となる。
• 非凸損失では、本稿は$\mathcal{O}(K/T)$の収束レートを証明しており、これは過パラメータ化設定下で以前に未知であった。
• 小さなステップサイズスキーム下での構築された問題例を通じて、理論的境界が定数因子の範囲でタイトであることが示された。
• 実データおよび合成データを用いた大規模数値実験により、実用的な過パラメータ化深層学習モデルにおけるLocal SGDの理論的収束行動が検証された。
• 分析により、非均一設定下でのクライアントドリフト問題が過パラメータ化のもとで緩和可能であり、これがより速い収束を可能にすることが明らかになった。