[论文解读] Efficient Replication for Straggler Mitigation in Distributed Computing

Amir Behrouzi-Far, Emina Soljanin|arXiv (Cornell University)|Jun 3, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用 11

一句话总结

本文提出了一种在主从式分布式系统中优化任务复制的策略，以缓解慢启动者（straggler）效应。通过使用平衡的、非重叠的作业批次分配方式，并结合极大化理论（majorization theory），该方法最小化了平均作业计算时间，并推导出在不同服务时间分布下的最优冗余度——揭示了降低平均延迟与提升计算时间可预测性之间的权衡。

ABSTRACT

Master-worker distributed computing systems use task replication in order to mitigate the effect of slow workers, known as stragglers. Tasks are grouped into batches and assigned to one or more workers for execution. We first consider the case when the batches do not overlap and, using the results from majorization theory, show that, for a general class of workers' service time distributions, a balanced assignment of batches to workers minimizes the average job compute time. We next show that this balanced assignment of non-overlapping batches achieves lower average job compute time compared to the overlapping schemes proposed in the literature. Furthermore, we derive the optimum redundancy level as a function of the service time distribution at workers. We show that the redundancy level that minimizes average job compute time is not necessarily the same as the redundancy level that maximizes the predictability of job compute time, and thus there exists a trade-off between optimizing the two metrics. Finally, by running experiments on Google cluster traces, we observe that redundancy can reduce the compute time of the jobs in Google clusters by an order of magnitude, and that the optimum level of redundancy depends on the distribution of tasks' service time.

研究动机与目标

• 解决主从式分布式计算系统中因慢启动者导致的延迟问题。
• 在固定冗余预算下，识别最小化平均作业计算时间的最优任务分配策略。
• 确定在不同工作节点服务时间分布下，最小化平均作业计算时间的最优冗余度。
• 通过变异系数（CoV）分析最小化平均延迟与最大化计算时间可预测性之间的权衡。
• 利用 Google 集群日志中的真实作业运行时数据验证理论发现。

提出的方法

• 应用极大化理论证明：当作业批次计算时间在工作节点数量上呈随机递减且为凸函数时，平衡的、非重叠的批次分配方式可最小化平均作业计算时间。
• 采用一般分布（包括指数分布和重尾分布，如帕累托分布）建模工作节点服务时间，以分析冗余的有效性。
• 通过分析批次计算时间的互补累积分布函数（CCDF），推导出最小化平均作业计算时间的最优冗余度。
• 使用作业计算时间的变异系数（CoV）作为可预测性度量，实现与最小化平均延迟目标的对比分析。
• 在 Google 集群日志上进行实验，提取任务服务时间，并在不同批次数量下模拟冗余任务分配。
• 对不同冗余度下的平均作业计算时间进行归一化处理，以比较指数分布与重尾分布服务时间下作业的性能表现。

实验结果

研究问题

• RQ1 在最小化平均作业计算时间方面，平衡的、非重叠的批次分配是否优于重叠或非平衡方案？
• RQ2 在不同工作节点服务时间分布下，最小化平均作业计算时间的最优冗余度是多少？
• RQ3 最小化平均作业计算时间的冗余度是否与最大化计算时间可预测性（即最小化 CoV）的冗余度相同？
• RQ4 服务时间分布的形状（指数分布 vs. 重尾分布）如何影响最优冗余度？
• RQ5 在真实分布式系统中，如 Google 集群日志所示，冗余任务分配能在多大程度上减少作业计算时间？

主要发现

• 即使在容忍相同数量慢启动者的情况下，平衡的、非重叠的批次分配仍能实现比重叠或非平衡方案更低的平均作业计算时间。
• 对于指数尾部服务时间，完全并行化（即每个工作节点一个任务）可最小化平均作业计算时间，与理论预测一致。
• 对于重尾部服务时间，最优冗余度介于完全并行化与完全多样性之间，且最优批次数（B）因作业而异——例如，作业 6、8、9、10 的 B=20，作业 5 的 B=50。
• 最优冗余度取决于重尾分布的形状参数，尾部衰减越快（形状参数越高），所需冗余度越低。
• 在真实 Google 集群工作负载中，冗余可将平均作业计算时间减少多达一个数量级，尤其在重尾服务时间的作业中效果显著。
• 最小化平均作业计算时间与最小化计算时间变异系数（CoV）之间存在根本性权衡，即同一冗余度无法同时优化两个指标。