[论文解读] A Unified Coding Framework for Distributed Computing with Straggling Servers

Songze Li, Mohammad Ali Maddah-Ali+1 more|arXiv (Cornell University)|Sep 6, 2016

Caching and Content Delivery参考文献 10被引用 17

一句话总结

本文提出了一种统一的编码框架，用于分布式矩阵乘法，在存在慢速服务器的情况下权衡计算延迟与通信负载。通过推广现有方案——最小带宽编码（用于最小化通信）和最小延迟编码（用于最小化计算延迟）——该框架能够在延迟-负载权衡的任意点实现系统化操作，在两个极端均达到信息论下限的常数倍性能。

ABSTRACT

We propose a unified coded framework for distributed computing with straggling servers, by introducing a tradeoff between "latency of computation" and "load of communication" for some linear computation tasks. We show that the coded scheme of [1]-[3] that repeats the intermediate computations to create coded multicasting opportunities to reduce communication load, and the coded scheme of [4], [5] that generates redundant intermediate computations to combat against straggling servers can be viewed as special instances of the proposed framework, by considering two extremes of this tradeoff: minimizing either the load of communication or the latency of computation individually. Furthermore, the latency-load tradeoff achieved by the proposed coded framework allows to systematically operate at any point on that tradeoff to perform distributed computing tasks. We also prove an information-theoretic lower bound on the latency-load tradeoff, which is shown to be within a constant multiplicative gap from the achieved tradeoff at the two end points.

研究动机与目标

• 为通过统一两种现有编码方法来应对分布式矩阵乘法中慢速服务器的挑战。
• 形式化映射阶段的计算延迟与洗牌阶段的通信负载之间的权衡关系。
• 设计一个单一的编码框架，使其能够在延迟-负载权衡的任意点系统化运行。
• 证明通信负载的信息论下限，并表明所提方案在权衡的两个极端均与该下限保持常数倍差距。
• 将先前的方案——最小带宽编码与最小延迟编码——作为所提框架的特例进行推广。

提出的方法

• 引入一个统一的编码框架，可在最小化通信负载与最小化计算延迟这两个极端之间插值。
• 使用包含多个输出分配的复合设置，推导通信负载的割集界。
• 将割集界应用于多个服务器子集，推导出最小可实现通信负载的下界。
• 构建一种编码方案，通过调节中间计算中的冗余度，实现延迟与负载之间的权衡。
• 利用MDS码和编码多播技术，同时缓解慢速服务器问题并提升通信效率。
• 证明所提方案在权衡的两个端点均与下限保持常数倍差距。

实验结果

研究问题

• RQ1 现有的分布式矩阵乘法编码方案能否在单一框架下统一，以平衡计算延迟与通信负载？
• RQ2 在存在慢速服务器的分布式矩阵乘法中，计算延迟与通信负载之间的基本权衡关系是什么？
• RQ3 对于给定的计算延迟，编码方案能多接近通信负载的信息论下限？
• RQ4 最小带宽编码与最小延迟编码能否被视为更一般框架下的特例？
• RQ5 在延迟-负载权衡的整个范围内，所提方案与信息论下限之间的性能差距是多少？

主要发现

• 所提框架在延迟-负载权衡的两个极端，分别将最小带宽编码与最小延迟编码作为特例进行推广。
• 该框架允许在权衡路径的任意点进行系统化操作，可根据系统约束灵活优化。
• 通过复合设置与割集论证，推导出通信负载的信息论下限。
• 所提方案在两个端点均达到下限的常数倍，其乘数因子至多为 $3 + \frac{4}{\frac{1}{\nu}-2}$，当 $\frac{1}{\nu} > 3 + \sqrt{5}$ 时，该值有界于 $3 + \bar{5}$。
• 当所有 $K$ 个服务器均完成映射阶段（$q = K$）时，所提方案的通信负载与下限的差距不超过 $3 + \bar{5}$ 倍。
• 该框架对不同慢速服务器行为具有鲁棒性，因为权衡机制可根据预期完成映射阶段的服务器数量进行自适应调整。