[論文レビュー] On Batch-Processing Based Coded Computing for Heterogeneous Distributed Computing Systems

Baoqian Wang, Junfei Xie+3 more|arXiv (Cornell University)|Dec 29, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用数 11

ひとこと要約

本稿では、非均質なシステムにおける遅延を低減するために、作業者が完全な計算を終える前にも部分結果をバッチ単位で返却できる、新しい符号化分散コンピューティングフレームワークであるバッチ処理ベース符号化コンピューティング（BPCC）を提案する。BPCCは漸近的最適性を達成し、特に有限または無限の遅延を伴うストラグル状態において、HCMMなどの最先端の手法よりもタスク完了時間を短縮する。

ABSTRACT

In recent years, coded distributed computing (CDC) has attracted significant attention, because it can efficiently facilitate many delay-sensitive computation tasks against unexpected latencies in distributed computing systems. Despite such a salient feature, many design challenges and opportunities remain. In this paper, we focus on practical computing systems with heterogeneous computing resources, and design a novel CDC approach, called batch-processing based coded computing (BPCC), which exploits the fact that every computing node can obtain some coded results before it completes the whole task. To this end, we first describe the main idea of the BPCC framework, and then formulate an optimization problem for BPCC to minimize the task completion time by configuring the computation load. Through formal theoretical analyses, extensive simulation studies, and comprehensive real experiments on the Amazon EC2 computing clusters, we demonstrate promising performance of the proposed BPCC scheme, in terms of high computational efficiency and robustness to uncertain disturbances.

研究の動機と目的

• 非均質な分散コンピューティングシステムにおけるストラグルに起因する遅延の課題に対処すること。
• 早期の部分結果送信を可能にする符号化コンピューティングフレームワークを設計し、タスク完了時間を短縮すること。
• 期待完了時間を最小化するように、非均質なノード間での計算負荷の割り当てを最適化すること。
• Amazon EC2上でのシミュレーションおよび実環境実験を用いて、現実的なストラグル状態下でのBPCCの性能を評価すること。
• BPCCの漸近的最適性およびパラメータ感度に関する理論的保証を確立すること。

提案手法

• 非均質なノードにおける処理時間分布がシフトされた指数分布に従う条件下で、期待タスク完了時間を最小化する最適化問題を定式化する。
• 主な定式化から導かれる代替最適化問題を解くことで、最適な負荷割り当て戦略を設計する。
• 各作業者が完全なタスク完了前に複数のバッチに分けて部分符号化結果を返却するバッチ処理メカニズムを導入する。
• 部分結果に対して特異値分解（SVD）を適用することで、時間に敏感なアプリケーション向けに早期の近似解を得られるようにする。
• パラメータ$ p $を用いてバッチ数を制御し、計算効率とストレージオーバーヘッドのトレードオフを可能にする。
• さまざまなストラグル状態下で、Amazon EC2クラスタ上での広範なシミュレーションおよび実環境実験を通じてフレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 符号化コンピューティングにおける部分結果の早期送信は、非均質な分散システムにおけるタスク完了時間をどのように短縮できるか？
• RQ2 バッチ処理ベースの符号化フレームワークにおいて、期待完了時間を最小化するための最適な非均質ノード間の負荷割り当て戦略は何か？
• RQ3 ストラグル状態下で、バッチ数$ p $はBPCCの性能および耐性にどのように影響を与えるか？
• RQ4 有限および無限のストラグル遅延下で、BPCCは従来の符号化および非符号化手法に比べて、遅延および信頼性の面でどの程度優れているか？
• RQ5 BPCCの漸近的最適性およびパラメータ感度について、どのような理論的保証を確立できるか？

主な発見

• BPCCは、非均質なノードの処理時間下でも、期待タスク完了時間を最小化する漸近的最適性を達成する。
• ストラグルが有限の遅延を伴って存在する状況では、BPCCは非符号化およびHCMM手法を著しく上回り、ストラグルの割合が20％を超えると顕著に優位性を示す。
• 無限のストラグル遅延下では、BPCCは非ゼロの成功確率を維持し、HCMMよりもタスクを速やかに完了させるが、非符号化手法は完全に失敗する。
• バッチ数$ p $が5から100に増加するに従い、BPCCの平均実行時間は減少し、$ p $の増加に伴って効率が向上することを示している。
• 有限遅延の状況下では、BPCCの性能劣化はベンチマーク手法よりも遅く、ストラグルの不確実性に対してより高い耐性を示している。
• 理論的分析により、BPCCの性能はその主要パラメータ$ p $によって制限され、$ p $の極端な値をとる際に最悪および最良の性能が達成されることを確認した。