[論文レビュー] Efficient Replication for Straggler Mitigation in Distributed Computing

Amir Behrouzi-Far, Emina Soljanin|arXiv (Cornell University)|Jun 3, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 11

ひとこと要約

本稿では、マスターワーカー型分散システムにおけるスレッガー効果を軽減する最適化されたタスクリプリケーション戦略を提案する。バランスの取れた重複のないバッチ割り当てとマジョライゼーション理論を活用することで、平均ジョブ計算時間の最小化と、さまざまなサービス時間分布における最適なリダンドンシー水準の導出がなされ、平均遅延の低減と予測可能性の向上のトレードオフが明らかにされた。

ABSTRACT

Master-worker distributed computing systems use task replication in order to mitigate the effect of slow workers, known as stragglers. Tasks are grouped into batches and assigned to one or more workers for execution. We first consider the case when the batches do not overlap and, using the results from majorization theory, show that, for a general class of workers' service time distributions, a balanced assignment of batches to workers minimizes the average job compute time. We next show that this balanced assignment of non-overlapping batches achieves lower average job compute time compared to the overlapping schemes proposed in the literature. Furthermore, we derive the optimum redundancy level as a function of the service time distribution at workers. We show that the redundancy level that minimizes average job compute time is not necessarily the same as the redundancy level that maximizes the predictability of job compute time, and thus there exists a trade-off between optimizing the two metrics. Finally, by running experiments on Google cluster traces, we observe that redundancy can reduce the compute time of the jobs in Google clusters by an order of magnitude, and that the optimum level of redundancy depends on the distribution of tasks' service time.

研究の動機と目的

• マスターワーカー型分散コンピューティングシステムにおけるスレッガーに起因する遅延の課題に対処すること。
• 固定されたリダンドンシー予算のもとで、平均ジョブ計算時間を最小化する最適なタスク割り当て戦略を特定すること。
• 異なるワーカーのサービス時間分布に対して、平均ジョブ計算時間を最小化する最適なリダンドンシー水準を同定すること。
• 平均遅延の最小化とジョブ計算時間の予測可能性の最大化のトレードオフを、変動係数（CoV）を用いて分析すること。
• 実際のGoogleクラスタトレースからのジョブ実行時間データを用いて、理論的考察を検証すること。

提案手法

• バッチ計算時間がワーカー数に関して確率的に減少し、凸である場合に、バランスの取れた重複のないバッチ割り当てが平均ジョブ計算時間を最小化することを、マジョライゼーション理論を用いて証明する。
• 指数分布や重たい尾を持つ分布（例：パレート分布）を含む一般分布を用いてワーカーのサービス時間をモデル化し、リダンドンシーの有効性を分析する。
• バッチ計算時間のCCDFを分析することで、平均ジョブ計算時間を最小化する最適なリダンドンシー水準を導出する。
• 計算時間の予測可能性を評価する指標として、ジョブ計算時間の変動係数（CoV）を用い、平均遅延最適化との比較を可能にする。
• Googleクラスタトレース上で実験を実施し、タスクのサービス時間を抽出し、さまざまなバッチ数における冗長タスク割り当てをシミュレートする。
• 異なるリダンドンシー水準における平均ジョブ計算時間を正規化し、指数的サービス時間分布と重たい尾を持つ分布を示すジョブ間での性能比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 バランスの取れた重複のないバッチ割り当ては、同じ数のスレッガー耐性を持つ重複ありまたは非バランスな方式よりも、平均ジョブ計算時間を低減するか？
• RQ2 異なるワーカーのサービス時間分布に対して、平均ジョブ計算時間を最小化する最適なリダンドンシー水準は何か？
• RQ3 平均ジョブ計算時間を最小化するリダンドンシー水準と、計算時間の予測可能性（つまり、CoVの最小化）を最大化する水準は同一か？
• RQ4 サービス時間分布の形状（指数分布対重たい尾分布）が最適なリダンドンシー水準に与える影響は何か？
• RQ5 実際の分散システムにおいて、冗長タスク割り当てがジョブ計算時間をどの程度短縮できるか、Googleクラスタトレースでの観察結果から明らかにできるか？

主な発見

• バランスの取れた重複のないバッチ割り当ては、重複ありまたは非バランスな方式でさえも、同じ数のスレッガー耐性を持つ場合に比べ、平均ジョブ計算時間を低く抑える。
• 指数的尾を持つサービス時間に対しては、理論通り、1ワーカーあたり1タスク（完全並列処理）が平均ジョブ計算時間を最小化する。
• 重たい尾を持つサービス時間に対しては、完全並列処理と完全多様性の中間の最適なリダンドンシー水準が得られ、最適なバッチ数（B）はジョブごとに異なる—例：ジョブ6,8,9,10ではB=20、ジョブ5ではB=50。
• 最適なリダンドンシー水準は、重たい尾分布の形状パラメータに依存し、より速く減少する尾（形状パラメータが大きい）では、低めのリダンドンシー水準が要求される。
• 実際のGoogleクラスタワークロードでは、リダンドンシーにより平均ジョブ計算時間が最大で1桁の短縮が可能であり、特に重たい尾を持つサービス時間のジョブで顕著である。
• 平均ジョブ計算時間を最小化することと、計算時間の変動係数（CoV）を最小化することには根本的なトレードオフがあり、同じリダンドンシー水準では両方の指標を同時に最適化することはできない。