[論文レビュー] Coded Distributed Computing with Heterogeneous Function Assignments

Nicholas Woolsey, Rong‐Rong Chen+1 more|arXiv (Cornell University)|Feb 27, 2019

Stochastic Gradient Optimization Techniques参考文献 9被引用数 5

ひとこと要約

本稿は、ノードの能力に応じて減少関数の数を変化させることで、効率的な通信負荷削減を実現する、新しい非均質な符号化分散計算（CDC）方式を提案する。シャッフル段階で r−1 個のノードを同時に処理できるようにすることで、同等の計算負荷下で均質なCDCよりも低い通信負荷を達成でき、特に r=Θ(K) かつ K が大きい場合に顕著である。

ABSTRACT

Coded distributed computing (CDC) introduced by Li et. al. is an effective technique to trade computation load for communication load in a MapReduce framework. CDC achieves an optimal trade-off by duplicating map computations at $r$ computing nodes to yield multicasting opportunities such that $r$ nodes are served simultaneously in the Shuffle phase. However, in general, the state-of-the-art CDC scheme is mainly designed only for homogeneous networks, where the computing nodes are assumed to have the same storage, computation and communication capabilities. In this work, we explore two novel approaches of heterogeneous CDC design. First, we study CDC schemes which operate on multiple, collaborating homogeneous computing networks. Second, we allow heterogeneous function assignment in the CDC design, where nodes are assigned a varying number of reduce functions. Finally, we propose an expandable heterogeneous CDC scheme where $r-1$ nodes are served simultaneously in the Shuffle phase. In comparison to the state-of-the-art homogeneous CDC scheme with an equivalent computation load, we find our newly proposed heterogeneous CDC scheme has a smaller communication load in some cases.

研究の動機と目的

• 計算ノードが同一のストレージ、計算、通信能力を持つと仮定する従来のCDC方式の制限を解決すること。
• ノードの個々の能力に応じて、異なる数の減少関数を割り当てることで、非均質なCDC設計を検討すること。
• 非均質ネットワークにおける乗法的計算-通信トレードオフを維持するスケーラブルで、キャスケード化されていないCDC方式を開発すること。
• 提案手法が、r=Θ(K) の場合に、同等の計算負荷下で、最先端の均質なCDCよりも低い通信負荷を達成することを示すこと。

提案手法

• 複数の均質な計算ネットワークが協働する非均質なCDCフレームワークを設計し、ノード間での柔軟な関数割り当てを可能にする。
• 計算およびストレージ容量に応じてノードに減少関数を不均等に割り当て、高能力ノードの利用効率を向上させる。
• シャッフル段階では、1回の送信で r−1 個のノードを同時に処理するように設計し、符号化マルチキャスティングを活用して通信負荷を低減する。
• キャスケード化されていない動作を維持しつつ、効率的な中間値の交換を可能にするために、先行するキャスケード化CDC方式からのファイル割り当てを採用する。
• ノードの能力と送信パターンを関数として通信負荷を定式化し、達成可能な負荷の下限を証明する。
• エントロピーに基づく情報理論的議論を適用し、通信負荷の下限を導出し、提案手法の性能と比較する。

実験結果

リサーチクエスチョン

• RQ1 計算能力およびストレージ能力にばらつきがある非均質ネットワークにおいて、キャスケード化されていないCDC方式を設計できるか？
• RQ2 高能力ノードにより多くの減少関数を割り当てることで、均質な方式と比較して通信負荷を低減できるか？
• RQ3 r−1 個のノードを同時にマルチキャストする非均質CDC環境における、計算負荷と通信負荷の根本的トレードオフは何か？
• RQ4 同等の計算負荷下で、提案された非均質CDC方式の通信負荷は、最先端の均質CDC方式と比べてどの程度か？
• RQ5 提案手法は、情報理論的下限の定数倍の範囲内で通信負荷を達成できるか？

主な発見

• r=Θ(K) であり、K が大きくなると、提案された非均質CDC方式は、最先端の均質CDC方式よりも低い通信負荷を達成する。
• 1回の送信で r−1 個のノードを同時に処理できるようにすることで、乗法的計算-通信トレードオフを維持する。
• 提案手法の通信負荷は、情報理論的下限の定数倍（最大4倍）の範囲内にあり、近似的に最適性が示された。
• 高能力ノードに多くの減少関数を割り当てることで、リソースの利用効率が向上し、全体の通信オーバーヘッドが低減する。
• 通信負荷の下限は、エントロピー不等式と順列に基づくノード順序付けを用いて導出され、定数倍の範囲で最適であることが示された。
• 解析により、ノード数 K が大きく、r が K と線形にスケーリングする場合に、提案手法が均質CDCを通信負荷の面で上回ることが確認された。