[论文解读] Heterogeneous Coded Distributed Computing: Joint Design of File Allocation and Function Assignment

Fan Xu, Meixia Tao|arXiv (Cornell University)|Aug 19, 2019

Stochastic Gradient Optimization Techniques参考文献 14被引用 4

一句话总结

本文提出了一种针对异构编码分布式计算系统的联合文件分配与功能分配方案，其中节点的计算能力各不相同。通过将文件划分为强制性批次和可选批次，并在shuffle阶段利用编码多播，该方案在等效同质系统中的通信负载与最优值之间的乘法差距保持在常数范围内（最多20e），在某些场景下优于先前的工作。

ABSTRACT

This paper studies the computation-communication tradeoff in a heterogeneous MapReduce computing system where each distributed node is equipped with different computation capability. We first obtain an achievable communication load for any given computation load and any given function assignment at each node. The proposed file allocation strategy has two steps: first, the input files are partitioned into disjoint batches, each with possibly different size and computed by a distinct node; then, each node computes additional files from its non-computed files according to its redundant computation capability. In the Shuffle phase, coded multicasting opportunities are exploited thanks to the repetitive file allocation among different nodes. Based on this scheme, we further propose the computation-aware and the shuffle-aware function assignments. We prove that, by using proper function assignments, our achievable communication load for any given computation load is within a constant multiplicative gap to the optimum in an equivalent homogeneous system with the same average computation load. Numerical results show that our scheme with shuffle-aware function assignment achieves better computation-communication tradeoff than existing works in some cases.

研究动机与目标

• 解决节点计算与存储能力不均的异构MapReduce系统中的计算-通信权衡问题。
• 设计一种文件分配策略，利用冗余计算能力在shuffle阶段创造编码多播机会。
• 提出计算感知与shuffle感知的功能分配方案，以在异构节点能力下优化通信负载。
• 证明所提方案在等效同质系统中的通信负载与最优值之间的乘法差距为常数（最多20e）。
• 通过数值结果表明，该方案在特定异构配置下优于现有方法。

提出的方法

• 将N个输入文件划分为K个互不相交的批次：强制性文件（每个节点一个）和可选文件（基于冗余容量计算得出）。
• 根据各节点的计算负载m_k将Map函数分配给节点，每个节点计算其强制性文件以及来自其他节点的额外可选文件。
• 通过利用因可选文件计算导致的文件重复，在shuffle阶段使用编码多播。
• 提出两种功能分配策略：计算感知（将更多功能分配给高容量节点）和shuffle感知（针对编码多播增益进行优化）。
• 推导出在任意给定计算负载和功能分配下的可实现通信负载的闭式表达式。
• 使用渐近分析和基于案例的边界技术，证明在等效同质系统中与最优负载之间的乘法差距。

实验结果

研究问题

• RQ1 联合设计文件分配与功能分配是否能在异构编码分布式计算系统中实现近似最优的通信负载？
• RQ2 所提出的文件划分策略（强制性与可选文件）如何提升shuffle阶段的编码多播机会？
• RQ3 所提方案的通信负载与等效同质系统最优负载之间的最大乘法差距是多少？
• RQ4 计算感知与shuffle感知的功能分配如何影响异构系统中的通信-计算权衡？
• RQ5 在何种条件下，所提方案在通信负载方面优于现有方案？

主要发现

• 所提方案在等效同质系统中的通信负载与最优值之间的乘法差距为常数（最多20e），且该系统具有相同的平均计算负载。
• 在某些异构配置下，shuffle感知功能分配策略相比现有工作能实现更优的计算-通信权衡。
• 对于任意给定的计算负载和功能分配，通信负载已推导出闭式表达式，从而支持系统性优化。
• 数值结果证实，该方案在降低通信负载方面优于先前工作，尤其在节点能力高度异构时表现更优。
• 分析证明，即使在节点能力非均匀的情况下，该方案仍能通过有界的乘法差距维持强性能保证。
• 将文件划分为强制性与可选批次的方法，有效利用冗余计算能力以实现高效的编码多播。