[論文レビュー] Using Straggler Replication to Reduce Latency in Large-scale Parallel Computing (Extended Version).

Da Wang, Gauri Joshi+1 more|arXiv (Cornell University)|Mar 11, 2015

Cloud Computing and Resource Management参考文献 15被引用数 5

ひとこと要約

本論文は、実行時間分布の末尾に注目することで、大規模並列コンピューティングにおけるジョブ完了遅延を低減するためのストラグルタスクのリプリケーション手法を提案する。極値理論とヒューリスティック最適化アルゴリズムを適用することで、コスト増加を最小限に抑えつつ顕著に遅延を低減するリプリケーション戦略を同定し、Google Traceデータ上でのMapReduceのベースライン戦略を上回る性能を示した。

ABSTRACT

Users expect fast and fluid response from today's cloud infrastructure. Large-scale computing frameworks such as MapReduce divide jobs into many parallel tasks and execute them on different machines to enable faster processing. But the tasks on the slowest machines (straggling tasks) become the bottleneck in the completion of the job. One way to combat the variability in machine response time, is to add replicas of straggling tasks and wait for one copy to finish. In this paper we analyze how task replication strategies can be used to reduce latency, and their impact on the cost of computing resources. We use extreme value theory to show that the tail of the execution time distribution is the key factor in characterizing the trade-off between latency and computing cost. From this trade-off we can determine which task replication strategies reduce latency, without a large increase in computing cost. We also propose a heuristic algorithm to search for the best replication strategies when it is difficult to fit a simple distribution to model the empirical behavior of task execution time, and use the proposed analysis techniques. Evaluation of the heuristic policies on Google Trace data shows a significant latency reduction compared to the replication strategy used in MapReduce.

研究の動機と目的

• 大規模並列システムにおけるストラグルタスクがジョブ完了を遅らせる問題に対処すること。
• タスクリプリケーション戦略が遅延と計算コストのトレードオフに与える影響を分析すること。
• タスク実行時間が単純な統計的分布に従わない場合の最適リプリケーション戦略の特定手法を開発すること。
• 実世界のGoogle Traceデータを用いて、提案戦略の有効性を評価すること。

提案手法

• 論文は、ジョブ完了遅延を決定づける実行時間分布の末尾をモデル化するために極値理論を適用する。
• タスク完了時間の極値分布に基づいて、コスト-遅延トレードオフモデルを構築する。
• 実測タスク時間がある単純なパラメトリック分布に従わない場合に、最適リプリケーション戦略を探索するためのヒューリスティックアルゴリズムを提案する。
• リプリケーションポリシーの影響をジョブ完了時間とリソースコストに与える影響を推定することで、リプリケーションポリシーを評価する。
• モデルのキャリブレーションと検証に、Google Traceからの実際の実行時間データを用いる。

実験結果

リサーチクエスチョン

• RQ1 タスク実行時間分布の末尾は、大規模システムにおけるジョブ完了遅延にどのように影響するか？
• RQ2 遅延を最小限に抑えつつ計算コストを低く保つリプリケーション戦略は何か？
• RQ3 タスク実行時間が単純な統計的分布に従わない場合、最適リプリケーションポリシーはどのように特定できるか？
• RQ4 MapReduceで使用されるベースライン戦略と比較して、リプリケーションは遅延をどの程度低減できるか？

主な発見

• 実行時間分布の末尾がジョブ完了遅延を決定づける主要因であるため、最適化の観点から極めて重要である。
• 極値理論に基づくリプリケーション戦略は、リソースコストの大幅な増加を伴わずに遅延を効果的に低減する。
• 提案されたヒューリスティックアルゴリズムは、タスク時間がある単純な分布に従わない場合でも、優れた性能を示すリプリケーションポリシーを的確に同定できた。
• Google Traceデータ上での評価により、MapReduceのデフォルトリプリケーション戦略と比較して顕著な遅延低減が確認された。