[論文レビュー] Communication-Efficient Local Decentralized SGD Methods

Xiang Li, Wenhao Yang+2 more|arXiv (Cornell University)|Oct 21, 2019

Indoor and Outdoor Localization Technologies参考文献 56被引用数 28

ひとこと要約

本稿では、局所更新と分散型SGDステップの間で柔軟に切り替えを許容することで、既存の手法を一般化する通信効率の高いローカル分散型確率的勾配降下法（LD-SGD）を提案する。このフレームワークは、非凸問題と非i.i.d.データに対して臨界点への収束を保証し、変動するステップ比や減少する局所更新長といった適応的更新スキームを通じて通信効率の向上を実現する。

ABSTRACT

Recently, the technique of local updates is a powerful tool in centralized settings to improve communication efficiency via periodical communication. For decentralized settings, it is still unclear how to efficiently combine local updates and decentralized communication. In this work, we propose an algorithm named as LD-SGD, which incorporates arbitrary update schemes that alternate between multiple Local updates and multiple Decentralized SGDs, and provide an analytical framework for LD-SGD. Under the framework, we present a sufficient condition to guarantee the convergence. We show that LD-SGD converges to a critical point for a wide range of update schemes when the objective is non-convex and the training data are non-identically independent distributed. Moreover, our framework brings many insights into the design of update schemes for decentralized optimization. As examples, we specify two update schemes and show how they help improve communication efficiency. Specifically, the first scheme alternates the number of local and global update steps. From our analysis, the ratio of the number of local updates to that of decentralized SGD trades off communication and computation. The second scheme is to periodically shrink the length of local updates. We show that the decaying strategy helps improve communication efficiency both theoretically and empirically.

研究の動機と目的

• 非同一分布のデータを伴う分散最適化における通信と計算のバランスをとる課題に対処する。
• 局所更新と分散型SGDステップの間で任意の更新パターンをサポートする一般化されたアルゴリズムフレームワークを構築する。
• 一般の通信パターン下での非凸最適化に対して理論的収束保証を提供する。
• モデル精度を損なわずに通信効率を向上させる更新スキームの設計と分析を行う。
• 動的局所更新長やステップ比制御といった適応的戦略の実用的有効性を実証する。

提案手法

• I₁回の局所更新とI₂回の分散型SGDステップを交互に繰り返すメタアルゴリズムLD-SGDを提案し、柔軟な通信パターンを実現する。
• ネットワークグラフの固有値性質に基づいて導かれる条件を用いて、一般の更新スキーム下での収束を分析する理論的枠組みを導入する。
• 勾配と分散に関するやや弱い仮定の下で、非凸目的関数と非i.i.d.データに対して臨界点への収束を確立する。
• 局所計算（I₁）と通信（I₂）のトレードオフを分析し、I₁/I₂比が高すぎると誤差が増加し、テスト精度が低下することを示す。
• 局所更新回数I₁を定期的に半減させる減少戦略を提案し、通信効率の向上を図る。
• PyTorchとMPI4Pyを用いたマルチGPU環境でCIFAR-10、CIFAR-100、PTBデータセットを用いて実験を行い、理論的考察を検証する。

実験結果

リサーチクエスチョン

• RQ1 非局所更新を伴う分散型SGDにおいて、任意の更新スキームをサポートする統一フレームワークを構築可能か？
• RQ2 非凸目的関数と非i.i.d.データに対してLD-SGDの収束を保証する条件は何か？
• RQ3 局所更新回数と分散型ステップ数の比（I₁/I₂）は、収束性と最終的なモデル精度にどのように影響するか？
• RQ4 局所更新長に対する減少戦略は、理論的および実験的に通信効率の向上をもたらすか？
• RQ5 通信コストとテスト精度の観点から、PD-SGD や D-SGD といった既存手法と比較してLD-SGDはどのように差をつけるか？

主な発見

• 非凸確率的最適化問題と非i.i.d.データに対して、やや弱い仮定の下でLD-SGDは臨界点への収束を示す。
• 局所更新と分散型ステップの比（I₁/I₂）は通信と計算のトレードオフを示し、比が高すぎると最終的なテスト精度が低下する。
• 提案されたI₁の減少戦略は、理論的および実験的に通信効率の向上を実現する。
• CIFAR-10およびCIFAR-100における実験では、同じ通信予算下で適応的更新スキームを用いたLD-SGDがベースライン手法よりも高いテスト精度を達成する。
• LD-SGDの残差誤差バウンドはO((1−ρ)/L)であり、先行研究のO((1−ρ)/(√n L))よりもタイトであるため、収束安定性が優れていることが示唆される。
• マルチGPU環境におけるGPU間通信は現実の無線通信コストを反映しており、このような環境下でLD-SGDはさらに顕著な利点を示す。