[论文解读] Cascaded Coded Distributed Computing on Heterogeneous Networks

Nicholas Woolsey, Rong‐Rong Chen+1 more|arXiv (Cornell University)|Jan 23, 2019

Stochastic Gradient Optimization Techniques参考文献 7被引用 4

一句话总结

该论文提出了一种新型组合设计，用于异构网络中的级联编码分布式计算（CDC），其中节点的存储和计算能力各不相同。通过允许多个节点计算每个Reduce函数，并利用经过精心分组的节点间编码数据调度，该方案在常数因子范围内实现了计算-通信权衡的最优，并在通信负载方面优于现有同质CDC方案，同时降低了编码复杂度。

ABSTRACT

Coded distributed computing (CDC) introduced by Li et al. in 2015 offers an efficient approach to trade computing power to reduce the communication load in general distributed computing frameworks such as MapReduce. For the more general cascaded CDC, Map computations are repeated at $r$ nodes to significantly reduce the communication load among nodes tasked with computing $Q$ Reduce functions $s$ times. While an achievable cascaded CDC scheme was proposed, it only operates on homogeneous networks, where the storage, computation load and communication load of each computing node is the same. In this paper, we address this limitation by proposing a novel combinatorial design which operates on heterogeneous networks where nodes have varying storage and computing capabilities. We provide an analytical characterization of the computation-communication trade-off and show that it is optimal within a constant factor and could outperform the state-of-the-art homogeneous schemes.

研究动机与目标

• 解决现有编码分布式计算方案仅适用于同质网络（即节点能力完全相同）的局限性。
• 为异构网络设计一个可扩展且高效的CDC框架，其中节点在存储、计算和通信容量方面存在差异。
• 实现级联CDC——即每个Reduce函数在多个节点上计算——同时通过编码调度最小化通信负载。
• 分析表征计算-通信权衡，并证明其在常数因子范围内的近似最优性。
• 通过最小化对中间值的随机线性组合，降低编码和解码的复杂度。

提出的方法

• 引入一种新型组合设计，以在具有异构存储和计算能力的节点之间分配输入文件和中间值。
• 该方案根据节点能力将节点分组，使用集合 $\mathcal{K}_i$ 表示存储第 $i$ 个Map-Reduce轮次文件的节点。
• 在Shuffle阶段的 $s$ 个轮次中，通过使用结构化子集 $\mathcal{S}$、$\mathcal{S}'$ 和 $\mathcal{Y}$ 以编码对的形式传输中间值，以利用编码增益。
• 通过统计所有大小为 $\gamma$ 的节点分组 $\mathcal{A}$（其中 $\gamma = 1$ 到 $s-1$）的传输次数，并在最后一轮（$\gamma = s$）使用 $2s$ 个节点之间的对称编码，推导出通信负载。
• 通过将总传输比特数归一化为 $QNT = \eta_1\eta_2X^2T$，将通信负载表示为系统参数的函数。
• 该设计确保每个中间值在 $r_c = s$ 个节点上被计算，且总计算负载被归一化为 $r_c = s$。

实验结果

研究问题

• RQ1 能否为异构网络设计一种级联CDC方案，使得节点具有不等的存储和计算能力？
• RQ2 在这种异构级联CDC系统中，可实现的计算-通信权衡是什么？
• RQ3 在异构环境中，如何在最小化编码和解码复杂度的同时最大化编码增益？
• RQ4 与现有同质CDC方案相比，所提出的方案是否在通信负载方面表现更优？
• RQ5 所提出的权衡在异构网络中是否在常数因子范围内最优？

主要发现

• 所提出的方案在特定系统参数下，实现了计算-通信权衡在常数因子范围内的最优，尤其在节点能力异构时表现显著。
• 与最先进的同质CDC方案相比，通信负载显著降低，即使在固定其他系统参数（如计算负载和文件数量）的情况下也是如此。
• 该方案减少了对中间值进行随机线性组合的需求，从而降低了Shuffle阶段的编码和解码复杂度。
• Shuffle阶段传输的总比特数为 $\frac{\eta_1\eta_2}{2X} \sum_{\gamma=1}^{s-1} \left[ \sum_{\substack{\mathcal{A} \subset [s] \\ |\mathcal{A}|=\gamma}} \prod_{i \in \mathcal{A}} (x_i - 1) \right] + \frac{s\eta_1\eta_2TX}{2s-1} \prod_{i=1}^{s} (x_i - 1)$，该表达式量化了通信负载。
• 计算负载被归一化为 $r_c = s$，意味着每个中间值在 $s$ 个节点上被计算，从而通过因子 $s$ 实现通信负载的乘法级减少。
• 分析推导证实，通过结构化地分组节点和中间值集合，该方案保持了编码增益，确保了高效的数据调度。