[論文レビュー] On the Communication Latency of Wireless Decentralized Learning

Navid Naderializadeh|arXiv (Cornell University)|Feb 10, 2020

Cooperative Communication and Network Coding参考文献 27被引用数 5

ひとこと要約

この論文は、n 個のノードが共有メディアを介して距離 Rn^{-\beta} の近接性に基づくトポロジーで勾配を交換する無線分散学習ネットワークにおける通信遅延を分析している。ランダム幾何グラフおよびネットワーク情報理論を用いて、O(n^{2-3\beta}/(\beta\log n)) の遅延スケーリングを導出しており、ネットワーク密度の向上は遅延を低減するが、交換回数の増加は遅延を増大させるため、収束速度と通信コストのバランスが生じる。

ABSTRACT

We consider a wireless network comprising $n$ nodes located within a circular area of radius $R$, which are participating in a decentralized learning algorithm to optimize a global objective function using their local datasets. To enable gradient exchanges across the network, we assume each node communicates only with a set of neighboring nodes, which are within a distance $R n^{-β}$ of itself, where $β\in(0,\frac{1}{2})$. We use tools from network information theory and random geometric graph theory to show that the communication delay for a single round of exchanging gradients on all the links throughout the network scales as $\mathcal{O}\left(\frac{n^{2-3β}}{β\log n} ight)$, increasing (at different rates) with both the number of nodes and the gradient exchange threshold distance.

研究の動機と目的

• ノードが近隣のノードとのみ勾配を交換する無線分散学習ネットワークにおける通信遅延をモデル化し、定量する。
• ネットワークサイズ（n）、送信範囲（Rn^{-\beta}）、干渉の影響がエンドツーエンドの勾配交換遅延に与える影響を理解する。
• ランダム幾何グラフ理論およびネットワーク情報理論のツールを用いて、通信遅延の漸近的上界を導出する。
• 分散無線MLシステムにおける収束速度と通信オーバーヘッドの最適化のための設計インサイトを提供する。

提案手法

• 半径 R の円に一様に分布する n 個のノードからなるネットワークをモデル化し、各ノードは距離 Rn^{-\beta} 以内の近隣ノードとのみ通信する。
• ランダム幾何グラフ理論を適用して、通信リンクの期待数およびネットワークの接続性特性を特徴付ける。
• 干渉制限付き無線ネットワークにおける達成可能なレートの情報理論的上限を用い、干渉をノイズとして扱う。
• 競合グラフモデルおよびスケジューリング制約を用いて、すべての勾配交換に必要な時間スロット数の上界を導出する。
• n → ∞ の漸近的解析を用いて、通信遅延のスケーリング則を導出する。
• 微積分および関数の凹性解析を用いて、遅延上界の単調性を検証する。

実験結果

リサーチクエスチョン

• RQ1 無線分散学習ネットワークにおける通信遅延は、ノード数 n に対してどのようにスケーリングするか？
• RQ2 通信範囲のしきい値 Rn^{-\beta} が勾配交換の遅延に与える影響は何か？
• RQ3 無線媒体の干渉制限性は、同時に進行する勾配送信のスケジューリングにどのように影響するか？
• RQ4 分散学習におけるネットワーク密度（β を通じて）と通信遅延の根本的トレードオフは何か？
• RQ5 情報理論的およびランダム幾何グラフのツールを用いて、このようなネットワークにおける遅延のタイトな漸近的上界を導出できるか？

主な発見

• n → ∞ のとき、1ラウンドの勾配交換における通信遅延は O(n^{2-3\beta}/(\beta\log n)) のスケーリングに比例する。
• 遅延はノード数 n が増加するにつれて増大するが、β が大きいほど、密度の高い通信トポロジーに対応するため遅延は低下する。
• 上界は競合グラフモデルおよび情報理論的レート制限を用いて導出されており、干渉をノイズとして扱う仮定に基づく。
• 分析により、β < 1/2 のとき、すべての勾配交換に必要な時間スロット数は n に対して部分線形に増加することが示された。
• 導出された遅延上界は、競合する送信数に関して単調であることが確認され、スケジューリング最適化の適用が妥当であることが裏付けられた。
• この結果は、予測可能な収束遅延を持つ効率的な無線分散学習システムの設計に理論的基盤を提供する。