[論文レビュー] Quantized Decentralized Stochastic Learning over Directed Graphs

Hossein Taheri, Aryan Mokhtari+2 more|arXiv (Cornell University)|Feb 23, 2020

Cooperative Communication and Network Coding被引用数 34

ひとこと要約

本論文は、量子化された Push-Sum ベースの分散学習を有向グラフ上で導入し、通信を大幅に削減しつつ正確な通信方法と同等の収束速度を達成する。ガッソップと確率的最適化アルゴリズムを提供し、凸および非凸目的関数に対して収束を保証する。

ABSTRACT

We consider a decentralized stochastic learning problem where data points are distributed among computing nodes communicating over a directed graph. As the model size gets large, decentralized learning faces a major bottleneck that is the heavy communication load due to each node transmitting large messages (model updates) to its neighbors. To tackle this bottleneck, we propose the quantized decentralized stochastic learning algorithm over directed graphs that is based on the push-sum algorithm in decentralized consensus optimization. More importantly, we prove that our algorithm achieves the same convergence rates of the decentralized stochastic learning algorithm with exact-communication for both convex and non-convex losses. Numerical evaluations corroborate our main theoretical results and illustrate significant speed-up compared to the exact-communication methods.

研究の動機と目的

• データが有向グラフで接続されたノード間に分布している場合の分散学習を動機づける。
• Push-Sum に基づくガッソップと分散 SGD の量子化された、通信効率の高いアルゴリズムを提案する。
• 凸・非凸の損失関数の両方に対して、正確な通信法と同等の収束保証を確立する。
• 数値実験を通じて大幅な通信速度向上を示す。

提案手法

• 列確率的ウェイトを用いる有向グラフに対して push-sum コンセンサス系を拡張する。
• 伝送更新の量子化を導入し、収束を維持しつつ通信負荷を低減する。
• Algorithm 1 を有向グラフ上の Quantized Gossip に、Algorithm 2 を有向グラフ上の Quantized Decentralized SGD に対して開発する。
• 収束結果を証明する：量子化を用いた Gossip は lambda と delta に支配される速度で収束し、量子化誤差の範囲で正確な push-sum と一致する。
• 凸目的関数の場合、時系列平均化された目的は rate O(1/√(nT)) で収束する；非凸目的関数の場合、勾配の二乗ノルムは rate O(1/√(nT)) で収束する。
• 量子化と正確な通信 push-sum を比較する数値実験を提供し、ビット単位の通信速度向上と性能を強調する。

実験結果

リサーチクエスチョン

• RQ1 有向グラフ上の push-sum ベース分散最適化における量子化通信は、正確な通信法と同じ収束速度を達成できるか？
• RQ2 強連結な有向グラフ上で量子化されたメッセージを使用した場合の gossip と分散 SGD の収束保証は何か？
• RQ3 凸および非凸設定の両方で、量子化が速度定数と実務的な通信効率にどのように影響するか？
• RQ4 有向グラフのトポロジーと量子化ノイズは収束速度に影響を与えるのか、どの程度か？
• RQ5 現実的な実験における送信ビット数と収束速度のトレードオフは何か？

主な発見

• 量子化済みガッソップは、グラフパラメータと量子化レベルに依存する速度で初期平均へ収束する。
• 凸目的関数に対して、提案された量子化された分散 SGD は、平均化された目的に対して O(1/√(nT)) の収束速度を達成する。
• 非凸目的関数では、提案スキームの下で勾配ノルムは O(1/√(nT)) の速度でゼロへ収束する。
• 量子化ノイズは漸近的に消失し、正確な通信 push-sum と比較して実験で最大 5–10x の通信節約を実現する。
• より単純なグラフでは反復ごとに正確な方法と同等の性能を示し、送信全ビット数が大幅に削減される。
• 理論的結果は、速度境界が量子化およびグラフ構造の影響を受ける項を含む限り、正確な通信と一致することを示している。