[論文レビュー] A New Combinatorial Coded Design for Heterogeneous Distributed Computing

Nicholas Woolsey, Rong‐Rong Chen+1 more|arXiv (Cornell University)|Jul 21, 2020

Stochastic Gradient Optimization Techniques参考文献 37被引用数 6

ひとこと要約

本稿では、ストレージおよび計算能力にばらつきがあるノードを想定した、異種分散コンピューティングのための新しい組合せ符号化設計を提案する。組合せ群設計を活用することで、必要な入力ファイル数とマルチキャストグループ数を最小化し、通信負荷を大幅に削減する。この手法により、元々の符号化分散コンピューティング（CDC）方式と同等の乗法的削減効果を達成するが、複雑性は著しく低く抑えられ、異種環境下でも漸近的に最適であることが示された。

ABSTRACT

Coded Distributed Computing (CDC) introduced by Li et al. in 2015 offers an efficient approach to trade computing power to reduce the communication load in general distributed computing frameworks such as MapReduce and Spark. In particular, increasing the computation load in the Map phase by a factor of r can create coded multicasting opportunities to reduce the communication load in the Shuffle phase by the same factor. However, the CDC scheme is designed for the homogeneous settings, where the storage, computation load and communication load on the computing nodes are the same. In addition, it requires an exponentially large number of input files (data batches), reduce functions and multicasting groups relative to the number of nodes to achieve the promised gain. We address the CDC limitations by proposing a novel CDC approach based on a combinatorial design, which accommodates heterogeneous networks where nodes have varying storage and computing capabilities. In addition, the proposed approach requires an exponentially less number of input files compared to the original CDC scheme proposed by Li et al. Meanwhile, the resulting computation-communication trade-off maintains the multiplicative gain compared to conventional uncoded unicast and asymptotically achieves the optimal performance proposed by Li et al.

研究の動機と目的

• ストレージ、計算、通信能力に差があるノードを有する異種ネットワークにおいて、既存の符号化分散コンピューティング（CDC）方式の限界を克服すること。
• 実用的導入を妨げる、入力ファイル数、関数数、マルチキャストグループ数の指数関数的増加を低減すること。
• Li らの元々のCDC方式と同等の乗法的利得を得る計算-通信トレードオフを達成すること、ただし異種環境下で行う。
• 従来のCDC手法に見られる高いコード生成オーバーヘッドを回避する低複雑性実装を設計すること。

提案手法

• 再利用可能なバランスの取れた不完全ブロック設計（BIBD）に基づく組合せ設計を提案し、ファイル配置と符号化マルチキャストグループを構造化する。
• 各中間値が r 個のノードで計算可能になるように、ファイルと関数をノードに割り当てる。これにより、シャッフルフェーズでの符号化マルチキャストが可能になる。
• 送信順序を置換に基づいて定義することで、必要な中間値のエントロピーを制限し、通信負荷の下界を導出可能にする。
• ノード固有のファイル集合（M_k）と必要な関数（W_k）を定義し、異種能力をモデル化する。
• 中間値の条件付きエントロピーに関する情報理論的不等式を用いて、最適通信負荷 L* の下界を導出する。
• 提案手法が通信負荷比 L_c / L* ≤ 4 を満たし、r ≥ 2 の場合に近似的に最適であることを示した。

実験結果

リサーチクエスチョン

• RQ1 ストレージや計算能力にばらつきがある異種分散システムにおいて、効率的な符号化分散コンピューティング方式を設計できるか？
• RQ2 元のCDC方式と比較して、通信負荷の利得を損なわずに、必要な入力ファイル数とマルチキャストグループ数をどのように低減できるか？
• RQ3 どのような組合せ的構造が、異種ネットワークにおける効率的なファイル配置と符号化マルチキャストを可能にするか？
• RQ4 提案手法は、異種環境下で理論的下限に近い通信負荷を達成できるか？
• RQ5 異種ノード制約下で、計算負荷と通信負荷のトレードオフはどのように変化するか？

主な発見

• 提案手法により、必要な入力ファイル数とマルチキャストグループ数をノード数の指数関数的から多項式的へ削減でき、実用的導入が可能になった。
• 通信負荷を r 倍の乗法的削減効果を達成し、元のCDC方式の理論的利得と同等の性能を示した。
• 提案手法の通信負荷は、最適下限の4倍以内に収まり、r ≥ 2 の場合に L_c / L* ≤ 4 が成立した。
• 同種条件下では、Li らの元々のCDC方式の最適性能に漸近的に到達した。
• 情報理論的下限として通信負荷の下界を導出し、提案設計下でタイトであることを示した。これにより、近似的に最適性が確認された。