[論文レビュー] Cascaded Coded Distributed Computing on Heterogeneous Networks

Nicholas Woolsey, Rong‐Rong Chen+1 more|arXiv (Cornell University)|Jan 23, 2019

Stochastic Gradient Optimization Techniques参考文献 7被引用数 4

ひとこと要約

本稿は、ストレージおよび計算能力が異なるノードを備えた異種ネットワークにおける段階的符号化分散計算（CDC）のための新しい組み合わせ的設計を提案する。複数のノードが各リダス関数を計算可能であり、戦略的にグループ化されたノード間で符号化されたデータシャッフルを活用することで、定数要因内で最適な計算-通信トレードオフを達成し、従来の均質的CDC方式よりも通信負荷を低減するとともに、符号化の複雑さを軽減する。

ABSTRACT

Coded distributed computing (CDC) introduced by Li et al. in 2015 offers an efficient approach to trade computing power to reduce the communication load in general distributed computing frameworks such as MapReduce. For the more general cascaded CDC, Map computations are repeated at $r$ nodes to significantly reduce the communication load among nodes tasked with computing $Q$ Reduce functions $s$ times. While an achievable cascaded CDC scheme was proposed, it only operates on homogeneous networks, where the storage, computation load and communication load of each computing node is the same. In this paper, we address this limitation by proposing a novel combinatorial design which operates on heterogeneous networks where nodes have varying storage and computing capabilities. We provide an analytical characterization of the computation-communication trade-off and show that it is optimal within a constant factor and could outperform the state-of-the-art homogeneous schemes.

研究の動機と目的

• ストレージおよび計算能力が同一のノードにのみ動作する従来の符号化分散計算方式の制限を解消すること。
• ストレージ、計算、通信容量に差があるノードを有する異種ネットワーク向けに、スケーラブルで効率的なCDCフレームワークを設計すること。
• 各リダス関数を複数のノードで計算する段階的CDCを可能にするとともに、符号化シャッフルを用いて通信負荷を最小限に抑えること。
• 計算-通信トレードオフを解析的に特徴づけ、定数要因内でほぼ最適であることを示すこと。
• 中間値に対するランダム線形結合の数を最小限に抑えることで、符号化および復号の複雑さを低減すること。

提案手法

• ストレージおよび計算能力が異なるノードに、入力ファイルおよび中間値を割り当てるための新しい組み合わせ的設計を導入する。
• ノードはその能力に応じてグループ化され、$\mathcal{K}_i$ は $i$ 番目のマップ-リダスラウンドでファイルを格納するノードを表す。
• シャッフルフェーズの $s$ ラウンドの各々において、構造的な部分集合 $\mathcal{S}$, $\mathcal{S}'$, $\mathcal{Y}$ を用いて符号化されたペアで中間値が送信され、符号化利得を活用する。
• 通信負荷は、サイズ $\gamma$ のすべての可能なノードグループ $\mathcal{A}$（$\gamma = 1$ から $s-1$ まで）における伝送回数を数えることで導出され、最終ラウンド（$\gamma = s$）では $2s$ 個のノードにわたる対称的符号化が用いられる。
• 通信負荷をシステムパラメータの関数として表現するため、全送信ビット数を $QNT = \eta_1\eta_2X^2T$ で正規化する。
• 各中間値が $r_c = s$ 個のノードで計算されることを保証し、合計計算負荷を $r_c = s$ に正規化する。

実験結果

リサーチクエスチョン

• RQ1 ストレージおよび計算能力に差があるノードを有する異種ネットワーク向けに、段階的CDC方式を設計できるか？
• RQ2 このような異種段階的CDCシステムにおける実現可能な計算-通信トレードオフは何か？
• RQ3 異種環境下で、符号化利得を最大化するとともに、符号化および復号の複雑さを最小限に抑えるにはどうすればよいか？
• RQ4 提案された方式は、通信負荷の観点で、従来の均質的CDC方式を上回るか？
• RQ5 提案されたトレードオフは、異種ネットワークにおいて定数要因内で最適か？

主な発見

• 提案された方式は、特にノード能力が異種である場合に、特定のシステムパラメータにおいて定数要因内で最適な計算-通信トレードオフを達成する。
• 他のシステムパラメータ（計算負荷、ファイル数など）を固定した場合でも、最先端の均質的CDC方式と比較して通信負荷が顕著に低減される。
• 中間値に対するランダム線形結合の必要性が低減され、シャッフルフェーズにおける符号化および復号の複雑さが低下する。
• シャッフルフェーズにおける全送信ビット数は、$\frac{\eta_1\eta_2}{2X} \sum_{\gamma=1}^{s-1} \left[ \sum_{\substack{\mathcal{A} \subset [s] \\ |\mathcal{A}|=\gamma}} \prod_{i \in \mathcal{A}} (x_i - 1) \right] + \frac{s\eta_1\eta_2TX}{2s-1} \prod_{i=1}^{s} (x_i - 1)$ として導出され、これにより通信負荷が明確に定量化される。
• 計算負荷は $r_c = s$ に正規化されており、各中間値が $s$ 個のノードで計算されることを意味し、通信負荷が $s$ 倍に低減される乗法的効果が得られる。
• 解析的導出により、ノードおよび中間値集合の構造的グループ化を通じて符号化利得が維持され、効率的なデータシャッフルが保証されることが確認された。