[論文レビュー] A Fundamental Tradeoff between Computation and Communication in Distributed Computing

Songze Li, Mohammad Ali Maddah-Ali+2 more|arXiv (Cornell University)|Apr 24, 2016

Stochastic Gradient Optimization Techniques参考文献 42被引用数 29

ひとこと要約

本論文は、Coded Distributed Computing (CDC) を導入することで、分散コンピューティングにおける基本的な計算通信トレードオフを提案する。この手法は、Map計算の冗長性を増加させることで通信負荷を低減する。r 個のノードに Map タスクをレプリケートし、中間データに符号化を適用することで、通信負荷を r 分の1に低減でき、情報理論的下界と一致する。これにより、最適なトレードオフが正確に同定される。

ABSTRACT

How can we optimally trade extra computing power to reduce the communication load in distributed computing? We answer this question by characterizing a fundamental tradeoff between computation and communication in distributed computing, i.e., the two are inversely proportional to each other. More specifically, a general distributed computing framework, motivated by commonly used structures like MapReduce, is considered, where the overall computation is decomposed into computing a set of "Map" and "Reduce" functions distributedly across multiple computing nodes. A coded scheme, named "Coded Distributed Computing" (CDC), is proposed to demonstrate that increasing the computation load of the Map functions by a factor of $r$ (i.e., evaluating each function at $r$ carefully chosen nodes) can create novel coding opportunities that reduce the communication load by the same factor. An information-theoretic lower bound on the communication load is also provided, which matches the communication load achieved by the CDC scheme. As a result, the optimal computation-communication tradeoff in distributed computing is exactly characterized. Finally, the coding techniques of CDC is applied to the Hadoop TeraSort benchmark to develop a novel CodedTeraSort algorithm, which is empirically demonstrated to speed up the overall job execution by $1.97 imes$ - $3.39 imes$, for typical settings of interest.

研究の動機と目的

• 分散コンピューティングにおけるデータシャッフルの高コストな通信オーバーヘッド、特に MapReduce や Spark などのフレームワークにおいて問題となる点を解決すること。
• 符号化技術がネットワーク帯域幅を増加させずに通信負荷を低減できるかどうかを調査すること。
• 分散システムにおける計算負荷（Mapフェーズ）と通信負荷（シャッフルフェーズ）の根本的トレードオフを同定すること。
• 計算と通信の最適なバランスを達成する符号化スキームを設計すること。
• Hadoop TeraSort などの実世界ベンチマークを用いた実装を通じて、提案スキームの実用的利点を検証すること。

提案手法

• r 個のノードに分散してレプリケートすることで、Map計算負荷を r 倍に増加させる符号化分散コンピューティング（CDC）フレームワークを提案する。
• 冗長な中間値を活用してマルチキャストを可能にし、通信負荷を r 分の1に低減する符号化シャッフル戦略を設計する。
• 入力ファイルおよび中間データの構造的配置を用いて、ノード間で符号化の機会を創出する。
• 通信負荷を r の関数として定式化し、最小達成可能負荷に対する情報理論的下界を導出する。
• Hadoop TeraSort ベンチマークに CDC スキームを適用し、符号化を活用して高速化を実現する CodedTeraSort アルゴリズムを構築する。
• 実際のデータ配置（例：HDFS レプリケーション）に起因する内在的冗長性ですでに近似的最適なパフォーマンスが達成されることを示し、耐障害性を検証する。

実験結果

リサーチクエスチョン

• RQ1 計算の冗長性を活用することで、符号化技術が分散コンピューティングにおける通信負荷を低減できるか？
• RQ2 分散システムにおける計算負荷と通信負荷の根本的トレードオフは何か？
• RQ3 与えられた計算負荷に対して、通信負荷の情報理論的下界に達する符号化スキームは存在するか？
• RQ4 提案された CDC スキームは、TeraSort のような実世界ワークロードに効果的に適用可能か？
• RQ5 既存のストレージシステム（例：HDFS）におけるデータの冗長性は、明示的なデータ配置制御なしに実用的な符号化シャッフルを可能にするか？

主な発見

• Map計算負荷を r 倍に増加させることで、CDC スキームは通信負荷を r 分の1に低減でき、情報理論的下界と一致する。
• 最適な計算通信トレードオフが正確に同定され、提案されたスキームが情報理論的に最適であることが証明された。
• CDC を基盤とする CodedTeraSort アルゴリズムは、通常の Hadoop クラスタ環境下でジョブ実行速度を 1.97× から 3.39× に加速する。
• HDFS 方式のレプリケーションに類するランダムなデータ配置でも、符号化シャッフルは最適 CDC 設計に近い通信負荷を達成する。
• このフレームワークは階層的ネットワークトポロジーおよびエッジ／フォッグコンピューティングに拡張可能であり、帯域幅と遅延を低減できる。
• 結果として、符号化が分散コンピューティングおよびエッジコンピューティングにおいて変容的なツールとなり得ることが示された。これにより、スケーラブルで低遅延な計算が可能になる。