[论文解读] Combating Computational Heterogeneity in Large-Scale Distributed Computing via Work Exchange

Mohamed Adel Attia, Ravi Tandon|arXiv (Cornell University)|Nov 22, 2017

Cloud Computing and Resource Management参考文献 12被引用 9

一句话总结

本文提出一种工作交换机制，通过动态地将慢速工作者的剩余任务重新分配给更快的工作者，以应对大规模分布式系统中的计算异构性问题，从而最小化空闲时间和冗余计算。即使在缺乏对工作者速度先验知识的情况下，该机制也能以极低的协调开销，实现接近理论下限的计算时间。

ABSTRACT

Owing to data-intensive large-scale applications, distributed computation systems have gained significant recent interest, due to their ability of running such tasks over a large number of commodity nodes in a time efficient manner. One of the major bottlenecks that adversely impacts the time efficiency is the computational heterogeneity of distributed nodes, often limiting the task completion time due to the slowest worker. In this paper, we first present a lower bound on the expected computation time based on the work-conservation principle. We then present our approach of work exchange to combat the latency problem, in which faster workers can be reassigned additional leftover computations that were originally assigned to slower workers. We present two variations of the work exchange approach: a) when the computational heterogeneity knowledge is known a priori; and b) when heterogeneity is unknown and is estimated in an online manner to assign tasks to distributed workers. As a baseline, we also present and analyze the use of an optimized Maximum Distance Separable (MDS) coded distributed computation scheme over heterogeneous nodes. Simulation results also compare the proposed approach of work exchange, the baseline MDS coded scheme and the lower bound obtained via work-conservation principle. We show that the work exchange scheme achieves time for computation which is very close to the lower bound with limited coordination and communication overhead even when the knowledge about heterogeneity levels is not available.

研究动机与目标

• 解决大规模分布式系统中因慢速工作者（拖尾者）导致整体任务完成延迟的计算异构性挑战。
• 克服现有方法的局限性，如编码计算（会浪费计算）和工作窃取（导致工作者空闲）。
• 设计一种方案，最小化冗余计算和空闲时间，同时逼近计算时间的理论下限。
• 在已知和未知异构性场景下均实现高效的任务分发，且通信与协调开销极低。

提出的方法

• 基于工作保守原则，推导计算时间的预言机下限，将其解释为对工作者速度的水填充分配优化。
• 提出一种工作交换框架，主节点根据实时进度，迭代地将慢速工作者未完成的子任务重新分配给更快的工作者。
• 实现两种变体：一种是已知工作者异构性（使用预先计算的任务分配），另一种是在线估计工作者速度。
• 使用剪枝阈值限制重新分配的迭代次数，从而在保持低延迟的同时减少通信开销。
• 将任务划分视为可分担的工作单元，实现在异构节点间灵活的负载均衡。
• 集成反馈回路，以在未知异构性情况下动态估计工作者速度，利用观测到的完成时间。

实验结果

研究问题

• RQ1 在无冗余计算且无空闲工作者的异构分布式系统中，计算时间的理论最小值是多少？
• RQ2 如何设计一种方案，使其在最小化冗余计算和空闲时间的同时，逼近该理论下限？
• RQ3 此类系统中，计算时间、协调开销与通信开销之间的权衡关系如何？
• RQ4 即使在缺乏对工作者异构性先验知识的情况下，工作交换机制是否仍能实现近似最优性能？

主要发现

• 即使在事先未知工作者异构性的情况下，工作交换方案的计算时间仍极为接近预言机下限。
• 在已知异构性情况下，该方案的额外通信可忽略不计，因为初始任务分配已是最优。
• 在未知异构性情况下，额外通信随工作者速度方差增加而上升，但总体仍保持较低水平。
• 重新分配迭代次数随异构性方差增加而上升，但可通过剪枝阈值进行控制，从而减少迭代次数而不降低性能。
• 在高异构性场景下，该方案显著优于基线的MDS编码计算，尤其在避免冗余计算方面表现突出。
• 该方法适用于线性和非线性任务，只要计算可划分为独立的子任务即可。