[论文解读] Efficient Straggler Replication in Large-scale Parallel Computing

Wang Da, Gauri Joshi+1 more|arXiv (Cornell University)|Mar 11, 2015

Cloud Computing and Resource Management参考文献 24被引用 5

一句话总结

本文提出了一套数学框架，用于在大规模并行计算中优化迟滞任务的复制策略，分析了作业延迟与计算成本之间的权衡。通过建模任务执行时间并优化复制策略——包括何时复制、创建多少份副本，以及是否终止原始任务——研究发现，即使是最小程度的复制也能显著降低延迟，同时降低资源成本，尤其是在执行时间分布呈现重尾特性（如帕累托分布）的情况下。

ABSTRACT

In a cloud computing job with many parallel tasks, the tasks on the slowest machines (straggling tasks) become the bottleneck in the job completion. Computing frameworks such as MapReduce and Spark tackle this by replicating the straggling tasks and waiting for any one copy to finish. Despite being adopted in practice, there is little analysis of how replication affects the latency and the cost of additional computing resources. In this paper we provide a framework to analyze this latency-cost trade-off and find the best replication strategy by answering design questions such as: 1) when to replicate straggling tasks, 2) how many replicas to launch, and 3) whether to kill the original copy or not. Our analysis reveals that for certain execution time distributions, a small amount of task replication can drastically reduce both latency as well as the cost of computing resources. We also propose an algorithm to estimate the latency and cost based on the empirical distribution of task execution time. Evaluations using samples in the Google Cluster Trace suggest further latency and cost reduction compared to the existing replication strategy used in MapReduce.

研究动机与目标

• 解决大规模并行作业中由迟滞任务引起的延迟瓶颈问题。
• 分析因任务复制而带来的作业完成时间与额外计算资源成本之间的权衡。
• 设计最优复制策略，以最小化延迟和成本，同时考虑执行时机、复制数量以及原始任务的处理方式。
• 开发一种实用算法，从经验执行时间分布中估计延迟和成本。
• 使用真实集群跟踪数据，将所提出的策略与现有系统（如 MapReduce）进行对比验证。

提出的方法

• 利用顺序统计量和极值理论建模复制后迟滞任务的完成时间。
• 应用吸引域理论，刻画在不同执行时间分布下，复制任务中最小完成时间的极限分布。
• 推导在各种复制策略下（包括终止或保留原始任务）的预期作业完成时间和预期成本的闭式表达式。
• 提出一种算法，当解析形式难以求解时，可从经验任务执行时间分布中估计性能指标。
• 利用广义帕累托分布和极值理论，对云环境中常见的重尾执行时间进行建模。
• 使用真实世界的 Google 集群跟踪数据验证该框架，并与现有的 MapReduce 风格复制策略进行比较。

实验结果

研究问题

• RQ1 为最小化作业延迟并控制资源成本，应复制多大比例的任务？
• RQ2 每个迟滞任务的副本数量如何影响延迟-成本权衡？
• RQ3 在复制之后，是否应终止原始任务副本，还是应继续运行？
• RQ4 在何种执行时间分布下，最小程度的复制能实现最大延迟降低，同时成本增加最小？
• RQ5 如何从经验任务执行时间数据中准确估计性能指标（延迟和成本）？

主要发现

• 对于帕累托等重尾执行时间分布，即使复制少量迟滞任务，也能显著缩短作业完成时间。
• 复制迟滞任务可使延迟相比非复制作业降低最多 140 倍，同时仅带来适度的资源成本增加。
• 最优复制策略取决于执行时间分布的尾部行为，帕累托分布的任务在复制下获益最大。
• 在复制比例较高时，复制后终止原始任务的策略通常比保留原始任务具有更低的期望成本和更快的完成速度。
• 所提出的从经验分布中估计延迟和成本的算法，在 Google 集群跟踪数据上的表现优于基线的 MapReduce 复制策略。
• 该框架揭示了在某些场景下，复制可同时降低延迟和总成本，打破了“更低延迟必然需要更高资源使用”的普遍假设。