[論文レビュー] Quantized Push-sum for Gossip and Decentralized Optimization over Directed Graphs.

Hossein Taheri, Aryan Mokhtari+2 more|arXiv (Cornell University)|Feb 23, 2020

Distributed Control Multi-Agent Systems参考文献 2被引用数 7

ひとこと要約

本稿では、有向グラフ上での分散型確率的学習のための量子化プッシュサムアルゴリズムを提案する。モデル更新の圧縮により通信負荷を低減しつつ、正確な通信を用いた手法と同等の収束速度を維持する。これは、量子化をプッシュサムフレームワークと統合することで達成され、凸および非凸の損失関数の両方に対して収束を保証する。

ABSTRACT

We consider a decentralized stochastic learning problem where data points are distributed among computing nodes communicating over a directed graph. As the model size gets large, decentralized learning faces a major bottleneck that is the heavy communication load due to each node transmitting large messages (model updates) to its neighbors. To tackle this bottleneck, we propose the quantized decentralized stochastic learning algorithm over directed graphs that is based on the push-sum algorithm in decentralized consensus optimization. More importantly, we prove that our algorithm achieves the same convergence rates of the decentralized stochastic learning algorithm with exact-communication for both convex and non-convex losses. Numerical evaluations corroborate our main theoretical results and illustrate significant speed-up compared to the exact-communication methods.

研究の動機と目的

• 大規模な分散型確率的学習における通信ボトル neck を解消するため、高容量のモデル更新に起因する通信負荷を低減すること。
• 通信が非対称的かつ単方向的な有向グラフ上でも、効率的な学習を可能にすること。
• 量子化にもかかわらず、正確な通信を用いた手法と同等の収束速度を維持すること。
• 実世界の分散システムに適したスケーラブルで通信効率の高いアルゴリズムを設計すること。

提案手法

• 有向グラフに対応できるようにプッシュサムアルゴリズムを適応させ、単方向通信による一貫性を実現する。
• モデル更新の量子化を導入することで、メッセージサイズと通信負荷を低減する。
• 量子化をプッシュサムフレームワークと統合し、収束性を維持する。
• 更新プロセスにおける量子化に起因するバイアスを補正するために、誤差フィードバック機構を暗黙的に使用する。
• 理論的分析を通じて、凸および非凸の損失関数の両方に対して収束を保証する。
• 非対称なネットワークトポロジーおよび帯域制限に強く、耐障害性を有するアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 量子化をプッシュサムベースの分散最適化に効果的に統合できるか、収束速度の低下が生じないか？
• RQ2 提案手法は、量子化下でも凸および非凸の損失関数に対して収束を維持するか？
• RQ3 実際の通信効率は、正確な通信を用いた手法と比較してどの程度優れているか？
• RQ4 有向グラフのトポロジーが、量子化アルゴリズムの収束性および安定性に与える影響は何か？

主な発見

• 提案された量子化プッシュサムアルゴリズムは、凸および非凸の損失関数の両方において、正確な通信を用いた手法と同等の収束速度を達成する。
• 数値的評価により、特に高次元モデルにおいて、正確な通信ベースラインと比較して顕著な高速化が確認された。
• 過酷な量子化に対しても収束性が維持されることから、通信圧縮に対して高い耐性を示す。
• 従来の一致アルゴリズムがしばしば失敗するか、収束が遅くなる有向グラフに対しても、本手法は有効である。