[論文レビュー] A Survey of Coded Distributed Computing

Jer Shyuan Ng, Wei Yang Bryan Lim+6 more|arXiv (Cornell University)|Aug 20, 2020

Cooperative Communication and Network Coding参考文献 225被引用数 22

ひとこと要約

本調査では、分散コンピューティングシステムにおける通信オーバーヘッドの低減およびスローガー（straggler）効果の緩和のため、符号化分散コンピューティング（CDC）を提示する。MapReduceのような分散フレームワークと符号化理論を統合することで、CDCはデータシャッフルを最小限に抑え、計算を高速化し、通信負荷と遅延を顕著に低減するとともに、障害耐性、プライバシー、セキュリティを実現する。

ABSTRACT

Distributed computing has become a common approach for large-scale computation of tasks due to benefits such as high reliability, scalability, computation speed, and costeffectiveness. However, distributed computing faces critical issues related to communication load and straggler effects. In particular, computing nodes need to exchange intermediate results with each other in order to calculate the final result, and this significantly increases communication overheads. Furthermore, a distributed computing network may include straggling nodes that run intermittently slower. This results in a longer overall time needed to execute the computation tasks, thereby limiting the performance of distributed computing. To address these issues, coded distributed computing (CDC), i.e., a combination of coding theoretic techniques and distributed computing, has been recently proposed as a promising solution. Coding theoretic techniques have proved effective in WiFi and cellular systems to deal with channel noise. Therefore, CDC may significantly reduce communication load, alleviate the effects of stragglers, provide fault-tolerance, privacy and security. In this survey, we first introduce the fundamentals of CDC, followed by basic CDC schemes. Then, we review and analyze a number of CDC approaches proposed to reduce the communication costs, mitigate the straggler effects, and guarantee privacy and security. Furthermore, we present and discuss applications of CDC in modern computer networks. Finally, we highlight important challenges and promising research directions related to CDC

研究の動機と目的

• 分散コンピューティングシステムのパフォーマンスを制限する高い通信オーバーヘッドとスローガー効果に対処すること。
• 分散フレームワークにおける通信負荷の低減と障害耐性の向上を図る符号化技術を調査すること。
• CDCにおけるプライバシーやセキュリティ機構を検討し、信頼できないノード間での安全なデータ処理を実現すること。
• エッジコンピューティング、NFV、UAVsなどの現代的ネットワークにおけるCDCの実用的応用を探索すること。
• スケーラブルで低複雑性のCDC実装に向けた未解決の課題と今後の研究方向性を特定すること。

提案手法

• MDS符号や配置配信配列といった符号化理論を、MapReduceのような分散コンピューティングフレームワークに統合し、データシャッフルを低減すること。
• 符号化計算を用いて、ワーカーが符号化されたデータ上で関数を計算可能にし、冗長性によりスローガーに起因する遅延を回復可能にする。
• 未信頼なワーカーが入力または出力データを推測できないように保証する、プライバシー保護を目的とした符号化方式を設計すること。
• 無線または不安定なネットワークにおける不完全なチャネル状態情報（CSI）や欠損データエントリに対応する耐障害性を持つ方式を提案すること。
• 情報理論的モデルを用いて、通信負荷、計算遅延、ストレージコストのトレードオフを分析すること。
• 反復的かつ非線形計算をサポートするため、Spark、Dryad、CIELなどのMapReduce以外のモデルへCDCを拡張すること。

実験結果

リサーチクエスチョン

• RQ1 どのような符号化技術を用いることで、分散コンピューティングシステムにおける通信負荷を最小限に抑えることができるか？
• RQ2 符号化技術は、全体の計算遅延に及ぼすスローガーの影響をどの程度低減できるか？
• RQ3 CDCシステムにおいて、通信負荷、計算遅延、ストレージコストの間にはどのようなトレードオフがあるか？
• RQ4 符号化方式を用いた分散コンピューティングで、プライバシーやセキュリティをどのように保証できるか？
• RQ5 エッジコンピューティングやUAVsのような実世界の応用、特に非MapReduceフレームワークへのCDCの適用における課題と機会は何か？

主な発見

• Hadoopクラスタにおけるデータシャッフルは、合計ジョブ実行時間の最大33％を占め、通信低減の必要性を示している。
• 異種のAmazon EC2クラスタでは、TeraSortおよびSelf-Joinワークロードにおいて、シャッフルフェーズが実行時間の65–70％を占める。
• CDC方式は、符号化マルチキャストとMDS符号を活用することで通信負荷を低減でき、データシャッフルの効率性に顕著な向上をもたらす。
• 符号化計算により、一部のワーカーが遅延してもタスクの完了が可能となり、全体の遅延が低減される。
• 通信負荷と計算遅延の間にはトレードオフが存在し、最適なCDC設計は両者のバランスを最適化することを目的としている。
• エッジコンピューティング、UAVs、車載ネットワークにおける将来的なCDC応用には、移動性および不安定なチャネルへの耐性が求められるため、新たな符号化設計の開発が促進される。