[論文レビュー] Communication-Efficient Algorithms for Decentralized Optimization Over Directed Graphs.

Yiyue Chen, Abolfazl Hashemi+1 more|arXiv (Cornell University)|May 27, 2020

Stochastic Gradient Optimization Techniques被引用数 3

ひとこと要約

本稿では、時間変動する有向グラフ上で分散型最適化を実行する通信効率が良く、スパarsificationに基づくアルゴリズムを提案する。ノードは局所的な凸関数の和を最小化する。圧縮によっても列確率的性質を保つように局所的に混合行列を調整することで、最適化に対してO(ln T / √T)の収束速度と、平均一致に対して幾何的収束を達成する。これは、スパarsificationを用いた有向グラフにおける初めてのこのような手法である。

ABSTRACT

We study the problem of decentralized optimization over a time-varying directed network whose nodes have access only to their local convex cost functions; the goal of the network is to collectively minimize the sum of the functions. To reduce the communication cost rendered high by large dimensionality of the model parameters, the nodes sparsify their updates before communicating them to their neighbours. We propose communication-efficient algorithms for both average consensus and decentralized optimization problems. Our schemes build upon the observation that compressing the messages via sparsification implicitly alters column-stochasticity of the mixing matrices of the directed network, a property that plays an important role in establishing convergence results for decentralized learning tasks. We show that by locally modifying the mixing matrices the proposed algorithms achieve $O(\frac{\mathrm{ln}T}{\sqrt{T}})$ convergence rate for decentralized optimization, and a geometric convergence rate for the average consensus problems, respectively. To our knowledge, these are the first communication-sparsifying schemes for distributed optimization over directed graphs. Experimental results on synthetic and real datasets show the efficacy of the proposed algorithms.

研究の動機と目的

• 高次元パラメータを有する分散型ネットワークにおける通信コストを低減すること。
• 時間変動する有向ネットワークにおいて、収束保証を損なわずにメッセージのスパarsificationを可能にすること。
• 圧縮に対しても混合行列の列確率的性質を維持することで、理論的収束を保証すること。
• 通信制約下でも証明可能な高速収束速度を達成するアルゴリズムの開発。
• 合成データおよび実世界のデータセットを用いた手法の検証。

提案手法

• アルゴリズムは、分散型ネットワークにおける通信負荷を低減するために勾配のスパarsificationを用いる。
• 圧縮後も列確率的性質を保つように、局所的な混合行列を変更することで、収束安定性を確保する。
• 各ノードで局所的なスパarsificationに基づいて混合行列を適応的に更新することで、ネットワークの一貫性を維持する。
• 有向グラフのダイナミクスに対応し、平均一致を維持するため、修正されたプッシュサムフレームワークを活用する。
• 理論的分析により、局所的な行列調整が施されれば、スパarsificationが収束を破壊しないことが示される。
• 通信圧縮と反復的精錬を組み合わせることで、高速収束を達成する。

実験結果

リサーチクエスチョン

• RQ1 収束保証を損なわずに、有向グラフ上の分散型最適化に通信効率の良いスパarsificationを適用可能か？
• RQ2 有向ネットワークにおけるメッセージ圧縮が、混合行列の列確率的性質にどのように影響するか？
• RQ3 有向グラフにおいてスパarsified通信を用いた分散型最適化で達成可能な収束速度は何か？
• RQ4 有向ネットワークにおけるスパarsification下でも、平均一致問題に対して幾何的収束を維持できるか？
• RQ5 混合行列の局所的調整が、分散学習全体の性能および安定性にどのように影響するか？

主な発見

• 提案手法は、スパarsified通信を用いた有向グラフ上での分散型最適化に対して、O(ln T / √T)の収束速度を達成する。
• 平均一致問題に対し、メッセージ圧縮下でも幾何的収束が達成される。
• 本手法は、時間変動する有向ネットワークにおいてスパarsificationと収束保証を組み合わせた最初の手法である。
• 混合行列の局所的変更により列確率的性質が維持され、理論的収束が可能になる。
• 合成データおよび実データセットを用いた実験により、手法の有効性とスケーラビリティが確認された。
• 高次元パラメータ空間と限られた通信量の下でも、性能を維持する。