[论文解读] Diversity/Parallelism Trade-off in Distributed Systems with Redundancy

Pei Peng, Emina Soljanin+1 more|arXiv (Cornell University)|Oct 5, 2020

Distributed and Parallel Computing Systems参考文献 69被引用 5

一句话总结

本文分析了在服务器数量有限的分布式系统中，冗余带来的多样性与并行性之间的权衡，提出了一种最小化期望作业完成时间的最优策略。该文推导了在不同服务时间分布（埃尓朗分布、帕累托分布和双模分布）下的期望完成时间的闭式表达式，并表明最优冗余水平和码率在不同分布间存在显著差异，因此需要针对不同分布定制系统设计以实现性能优化。

ABSTRACT

As numerous machine learning and other algorithms increase in complexity and data requirements, distributed computing becomes necessary to satisfy the growing computational and storage demands, because it enables parallel execution of smaller tasks that make up a large computing job. However, random fluctuations in task service times lead to straggling tasks with long execution times. Redundancy, in the form of task replication and erasure coding, provides diversity that allows a job to be completed when only a subset of redundant tasks is executed, thus removing the dependency on the straggling tasks. In situations of constrained resources (here a fixed number of parallel servers), increasing redundancy reduces the available resources for parallelism. In this paper, we characterize the diversity vs. parallelism trade-off and identify the optimal strategy, among replication, coding and splitting, which minimizes the expected job completion time. We consider three common service time distributions and establish three models that describe scaling of these distributions with the task size. We find that different distributions with different scaling models operate optimally at different levels of redundancy, and thus may require very different code rates.

研究动机与目标

• 刻画资源受限的分布式系统中多样性（冗余）与并行性之间的基本权衡。
• 在固定服务器约束下，识别最小化期望作业完成时间的最优冗余水平（即码率）。
• 建模服务时间分布如何随任务规模变化，以实现对系统性能的准确预测。
• 在不同统计服务时间模型下，比较复制、编码和拆分策略。

提出的方法

• 推导了在三种服务时间分布（埃尓朗、帕累托和双模）下，表示任务完成时间的独立同分布随机变量的第k个顺序统计量的精确与近似表达式。
• 利用顺序统计理论，计算当n个任务中任意k个完成即可使作业完成时的期望完成时间。
• 对帕累托模型中的伽马函数比值应用斯特林近似和高茨基不等式，推导渐近近似表达式。
• 引入广义生日问题框架，用于建模收集d种不同优惠券的期望时间，用于分析双模分布情形。
• 提出一种递归方法，用于计算埃尓朗模型中生成函数展开的系数，从而高效计算期望完成时间。
• 通过在不同任务规模缩放模型和系统参数下的数值评估，验证了分析结果的准确性。

实验结果

研究问题

• RQ1 在固定服务器数量的分布式系统中，最小化期望作业完成时间的最优冗余水平（即冗余任务数量）是什么？
• RQ2 不同的服务时间分布（埃尓朗、帕累托和双模）如何影响多样性与并行性之间的最优平衡？
• RQ3 服务时间随任务规模的缩放关系如何影响最优码率和系统性能？
• RQ4 能否在各种服务时间模型下推导出期望完成时间的闭式或可计算的近似表达式？
• RQ5 冗余策略的选择（复制 vs. 交织编码）如何依赖于底层服务时间分布和任务规模缩放关系？

主要发现

• 不同服务时间分布下的最优冗余水平存在显著差异：帕累托分布任务偏好更高冗余，而埃尓朗分布任务在中等冗余水平下表现最佳。
• 对于帕累托分布，当n较大时，期望完成时间近似按n^{1 - 1/α}缩放，表明重尾服务时间可通过增加冗余获益。
• 在双模服务模型中，任务要么快速要么极慢，最优策略取决于慢速工作节点的概率和任务规模，当慢速节点可能性较高时，应优先采用更高冗余。
• 埃尓朗模型通过顺序统计和生成函数得出了期望完成时间的闭式表达式，从而可实现精确的性能评估。
• 广义生日问题近似为收集d种不同结果的期望时间提供了准确的渐近估计，这对双模情形的分析至关重要。
• 研究表明，采用统一的冗余策略是次优的——最优码率必须根据具体的服务时间分布和任务规模缩放行为进行定制。