[论文解读] A Combinatorial Design for Cascaded Coded Distributed Computing on General Networks

Nicholas Woolsey, Rong‐Rong Chen+1 more|arXiv (Cornell University)|Aug 2, 2020

Stochastic Gradient Optimization Techniques参考文献 12被引用 5

一句话总结

本文提出了一种基于超长方体结构的新型组合设计，用于在同构与异构网络中的级联编码分布式计算（CDC）。通过优化输入文件与输出函数的分配，该方案显著降低了通信负载，优于先前工作，同时所需输入文件与函数数量呈指数级减少，在信息论极限的常数因子范围内实现近似最优性能。

ABSTRACT

Coding theoretic approached have been developed to significantly reduce the communication load in modern distributed computing system. In particular, coded distributed computing (CDC) introduced by Li et al. can efficiently trade computation resources to reduce the communication load in MapReduce like computing systems. For the more general cascaded CDC, Map computations are repeated at r nodes to significantly reduce the communication load among nodes tasked with computing Q Reduce functions s times. In this paper, we propose a novel low-complexity combinatorial design for cascaded CDC which 1) determines both input file and output function assignments, 2) requires significantly less number of input files and output functions, and 3) operates on heterogeneous networks where nodes have varying storage and computing capabilities. We provide an analytical characterization of the computation-communication tradeoff, from which we show the proposed scheme can outperform the state-of-the-art scheme proposed by Li et al. for the homogeneous networks. Further, when the network is heterogeneous, we show that the performance of the proposed scheme can be better than its homogeneous counterpart. In addition, the proposed scheme is optimal within a constant factor of the information theoretic converse bound while fixing the input file and the output function assignments.

研究动机与目标

• 解决现有级联CDC方案存在的局限性，即为实现通信负载增益而需要大量输入文件与输出函数。
• 将编码分布式计算扩展至异构网络，其中节点具有不同的存储、计算与通信能力。
• 设计一种低复杂度方案，同时优化输入文件与输出函数的分配，以改善计算-通信权衡。
• 证明所提方案在同构CDC方案中优于最先进水平，并在异构环境中实现更优性能。

提出的方法

• 本文采用超长方体组合结构，将输入文件与Reduce函数分配至各节点，实现高效的编码多播。
• 提出一种基于动态排列的节点选择策略，优先选择剩余尺寸最大的维度，以最小化通信负载。
• 该设计减少了Shuffle阶段对随机线性组合的需求，降低了编码与解码复杂度。
• 方案采用分层缩减过程，每个节点移除一层超长方体，根据可用文件与分配函数缩小有效尺寸。
• 通过超长方体维度乘积项的组合求和，推导出解析界，得出通信负载的闭式表达式。
• 通信负载通过两种下界——L_P1与L_P2——进行表征，分别基于不同的节点排序策略，随后合并以推导整体性能极限。

实验结果

研究问题

• RQ1 能否为级联CDC设计一种低复杂度的组合方案，以减少所需输入文件与输出函数数量，同时保持通信负载增益？
• RQ2 所提方案在同构与异构网络设置下是否优于现有CDC方案？
• RQ3 能否在同构网络中，将级联CDC的基本计算-通信权衡改进至超越Li等人所建立边界的程度？
• RQ4 当节点能力（存储、计算、通信）存在异质性时，所提设计表现如何？
• RQ5 所提方案在Shuffle阶段通过最小化随机线性组合，能在多大程度上降低编码/解码复杂度？

主要发现

• 在同构网络中，即使固定输入文件与函数分配，所提方案的通信负载仍严格低于Li等人提出的最先进方案。
• 在异构网络中，该方案优于其同构版本及先前方案，展现出对不同节点能力的适应性。
• 与先前级联CDC设计相比，所需输入文件与输出函数数量呈指数级减少，其规模随节点数呈O(1)增长，而非多项式增长。
• 在固定文件与函数分配条件下，该方案在信息论对偶界常数因子范围内实现了最优计算-通信权衡。
• 通过两种不同的节点排序策略，通信负载获得解析界，其中更紧的界来自优先选择剩余最大超长方体维度的排列。
• 在大规模网络中，当r = Θ(1)或r = o(K)时，所提方案通信负载与下界之比趋近于1 + o(1)，证实其近似最优性。