[论文解读] A New Combinatorial Coded Design for Heterogeneous Distributed Computing

Nicholas Woolsey, Rong‐Rong Chen+1 more|arXiv (Cornell University)|Jul 21, 2020

Stochastic Gradient Optimization Techniques参考文献 37被引用 6

一句话总结

本文提出了一种用于异构分布式计算的新型组合编码设计，可在保持节点存储和计算能力差异的前提下降低通信负载。通过利用组合群设计以最小化所需输入文件数量和多播组数量，该方案实现了与原始编码分布式计算（CDC）方案相当的乘法性通信负载减少，同时显著降低了复杂度，并在异构环境下实现了渐近最优性。

ABSTRACT

Coded Distributed Computing (CDC) introduced by Li et al. in 2015 offers an efficient approach to trade computing power to reduce the communication load in general distributed computing frameworks such as MapReduce and Spark. In particular, increasing the computation load in the Map phase by a factor of r can create coded multicasting opportunities to reduce the communication load in the Shuffle phase by the same factor. However, the CDC scheme is designed for the homogeneous settings, where the storage, computation load and communication load on the computing nodes are the same. In addition, it requires an exponentially large number of input files (data batches), reduce functions and multicasting groups relative to the number of nodes to achieve the promised gain. We address the CDC limitations by proposing a novel CDC approach based on a combinatorial design, which accommodates heterogeneous networks where nodes have varying storage and computing capabilities. In addition, the proposed approach requires an exponentially less number of input files compared to the original CDC scheme proposed by Li et al. Meanwhile, the resulting computation-communication trade-off maintains the multiplicative gain compared to conventional uncoded unicast and asymptotically achieves the optimal performance proposed by Li et al.

研究动机与目标

• 解决现有编码分布式计算（CDC）方案在节点存储、计算和通信能力不均的异构网络中的局限性。
• 减少CDC中指数级增长的所需输入文件数、函数数和多播组数，这些因素阻碍了实际部署。
• 在异构环境中实现与Li等人原始CDC方案相当的乘法性计算-通信权衡增益。
• 设计一种低复杂度实现方式，避免先前CDC方法中高昂的编码生成开销。

提出的方法

• 基于可分解的平衡不完整区组设计（BIBD）提出一种组合设计，用于组织文件分配和编码多播组结构。
• 将文件和归约函数分配给节点，使得每个中间值在r个节点上被计算，从而在shuffle阶段实现编码多播。
• 采用基于排列的传输顺序以限制所需中间值的熵，从而推导出通信负载的下限。
• 定义每个节点特定的文件集合（M_k）和所需函数集合（W_k），以建模异构能力。
• 利用信息论不等式对中间值的条件熵进行分析，推导出最优通信负载L*的下限。
• 证明所提方案的通信负载比L_c / L* ≤ 4（当r ≥ 2时），从而证明其近似最优性。

实验结果

研究问题

• RQ1 能否设计一种编码分布式计算方案，使其在节点能力各异的异构分布式系统中高效运行？
• RQ2 如何在不牺牲通信负载增益的前提下，将所需输入文件数和多播组数相比原始CDC方案显著减少？
• RQ3 何种组合结构能够实现在异构网络中的高效文件分配与编码多播？
• RQ4 所提方案能否在异构环境中实现接近理论通信负载下限的性能？
• RQ5 在异构节点约束下，计算负载与通信负载之间存在何种权衡关系？

主要发现

• 所提方案将所需输入文件数和多播组数从指数级降低至多项式级别，从而实现实际部署。
• 该方案通过因子r实现了通信负载的乘法性减少，与原始CDC方案的理论增益相当。
• 所提方案的通信负载在最优下限的4倍以内，当r ≥ 2时，L_c / L* ≤ 4。
• 该方案在渐近意义上实现了Li等人原始CDC方案在同质条件下的最优性能。
• 推导出通信负载的信息论下限，并在所提设计下证明其紧致性，从而确认了方案的近似最优性。