[论文解读] A New Combinatorial Design of Coded Distributed Computing

Nicholas Woolsey, Rong‐Rong Chen+1 more|arXiv (Cornell University)|Feb 12, 2018

Stochastic Gradient Optimization Techniques参考文献 4被引用 3

一句话总结

本文提出了一种基于超立方体组合设计的新型编码分布式计算方案，与以往工作相比，显著减少了所需输入文件和Map函数的数量。通过利用结构化的文件放置和编码多播，该方案在保持近似最优性能及在特定条件下渐近最优的同时，实现了通信负载的乘法级降低。

ABSTRACT

Coded distributed computing introduced by Li et al. in 2015 is an efficient approach to trade computing power to reduce the communication load in general distributed computing frameworks such as MapReduce. In particular, Li et al. show that increasing the computation load in the Map phase by a factor of $r$ can create coded multicasting opportunities to reduce the communication load in the Reduce phase by the same factor. However, there are two major limitations in practice. First, it requires an exponentially large number of input files (data batches) when the number of computing nodes gets large. Second, it forces every $s$ computing nodes to compute one Map function, which leads to a large number of Map functions required to achieve the promised gain. In this paper, we make an attempt to overcome these two limitations by proposing a novel coded distributed computing approach based on a combinatorial design. We demonstrate that when the number of computing nodes becomes large, 1) the proposed approach requires an exponentially less number of input files; 2) the required number of Map functions is also reduced exponentially. Meanwhile, the resulting computation-communication trade-off maintains the multiplicative gain compared to conventional uncoded unicast and achieves the information theoretic lower bound asymmetrically for some system parameters.

研究动机与目标

• 解决现有编码分布式计算的两大主要局限：随着节点数量增加，所需输入文件和Map函数呈指数级增长。
• 减少实现相同计算-通信权衡增益所需的输入文件和Map函数数量。
• 与非编码单播相比，保持通信负载的乘法级降低。
• 在特定参数范围（如 s=1 和 s=2）下，实现信息论最优性。
• 设计一种可扩展方案，显著减少系统资源需求，同时保持性能。

提出的方法

• 该方案采用基于超立方体的组合设计，对文件在节点间的放置进行结构化安排，确保多个节点所需的中间值在多个位置本地可用。
• 每个节点仅计算其分配输出函数所需的必要中间值（即Map函数），避免冗余计算。
• 通过编码多播最小化通信负载，其中每个节点向其他节点传输其本地计算数据包的随机线性组合，以满足请求。
• 该方案通过参数 x、d 和 η₁、η₂ 进行形式化定义，其中节点数 K = xd，文件数 N = η₁x^d，函数数 Q = η₂xd。
• 计算负载 r_hc 和通信负载 L_hc 通过涉及二项式系数和 x 的幂的组合表达式推导得出。
• 该设计确保每个中间值被 s 个节点请求，且可由 r 个节点计算，从而支持高效的编码传输。

实验结果

研究问题

• RQ1 能否设计一种编码分布式计算方案，以减少随着节点数量增加而指数增长的所需输入文件和Map函数？
• RQ2 所提出的方案是否与非编码单播相比，保持通信负载降低的乘法增益？
• RQ3 该方案是否能在特定系统参数（如 s=1 或 s=2）下实现信息论最优性？
• RQ4 在所提出的方案与以往工作之间，所需文件数和函数数如何随系统规模变化？
• RQ5 在所提出的基于超立方体的设计中，计算负载与通信负载之间的权衡关系如何？

主要发现

• 所提出的方案将所需输入文件数 N 从 Κ choose r 降低至 (K/r)^r，在 r 较大时实现文件需求的指数级减少。
• 所需Map函数数从 Κ choose s 降低至 (K/s)^s，随着 s 增大，实现指数级下降。
• 通信负载 L_hc 相较于非编码单播实现乘法增益，当 K=9、r=14/9、s=3 时，L_hc = 20/27，而最优方案中 L*=8/15。
• 当 s=1 时，随着 r→∞，该方案实现信息论最优性，证明其渐近最优性。
• 当 s=2 时，随着 K→∞，该方案实现信息论最优性，确认在该参数范围内的渐近最优性。
• 该方案保持近似最优性能，L_hc 接近理论下界 L*（来自 [1]），尤其当 s=r 较小时更为显著。