[论文解读] Coded Distributed Computing with Heterogeneous Function Assignments

Nicholas Woolsey, Rong‐Rong Chen+1 more|arXiv (Cornell University)|Feb 27, 2019

Stochastic Gradient Optimization Techniques参考文献 9被引用 5

一句话总结

本文提出了一种新颖的异构编码分布式计算（CDC）方案，根据节点能力分配不同数量的归约函数，从而实现高效的通信负载降低。通过在shuffle阶段同时服务r−1个节点，该方案在相同计算负载下，通信负载低于同质CDC方案，尤其当r=Θ(K)且K较大时表现更优。

ABSTRACT

Coded distributed computing (CDC) introduced by Li et. al. is an effective technique to trade computation load for communication load in a MapReduce framework. CDC achieves an optimal trade-off by duplicating map computations at $r$ computing nodes to yield multicasting opportunities such that $r$ nodes are served simultaneously in the Shuffle phase. However, in general, the state-of-the-art CDC scheme is mainly designed only for homogeneous networks, where the computing nodes are assumed to have the same storage, computation and communication capabilities. In this work, we explore two novel approaches of heterogeneous CDC design. First, we study CDC schemes which operate on multiple, collaborating homogeneous computing networks. Second, we allow heterogeneous function assignment in the CDC design, where nodes are assigned a varying number of reduce functions. Finally, we propose an expandable heterogeneous CDC scheme where $r-1$ nodes are served simultaneously in the Shuffle phase. In comparison to the state-of-the-art homogeneous CDC scheme with an equivalent computation load, we find our newly proposed heterogeneous CDC scheme has a smaller communication load in some cases.

研究动机与目标

• 解决现有CDC方案假设计算节点同质（存储、计算和通信能力相同）的局限性。
• 通过根据节点个体能力分配不同数量的归约函数，探索异构CDC设计。
• 设计一种可扩展的非级联CDC方案，在异构网络中保持计算-通信负载的乘法性权衡。
• 证明所提方案在相同计算负载下，通信负载低于最先进的同质CDC方案，尤其当r=Θ(K)时。

提出的方法

• 设计一种异构CDC框架，允许多个同质计算网络协作，实现节点间灵活的函数分配。
• 根据计算和存储容量，不均等分配归约函数给节点，提升高容量节点的利用率。
• 在Shuffle阶段实施传输，每次传输同时服务r−1个节点，利用编码多播降低通信负载。
• 采用先前级联CDC方案的文件分配方法，实现在保持非级联运行的同时，高效交换中间值。
• 将通信负载建模为节点能力与传输模式的函数，并证明可实现负载的下界。
• 应用基于熵的信息论论证，推导通信负载的下界，并与所提方案的性能进行比较。

实验结果

研究问题

• RQ1 能否为异构网络设计一种非级联CDC方案，使得节点具有不同的计算和存储能力？
• RQ2 是否允许异构函数分配（即高容量节点分配更多归约函数）可实现比同质方案更低的通信负载？
• RQ3 在支持r−1个节点多播的异构CDC设置中，计算负载与通信负载之间的基本权衡是什么？
• RQ4 在相同计算负载下，所提异构CDC方案的通信负载与最先进的同质CDC方案相比如何？
• RQ5 所提方案能否实现通信负载在信息论下界的一个常数因子之内？

主要发现

• 当r=Θ(K)且K较大时，所提异构CDC方案的通信负载低于最先进的同质CDC方案。
• 通过每次传输同时服务r−1个节点，该方案保持了计算-通信负载的乘法性权衡。
• 所提方案的通信负载在信息论下界的一个常数因子（最多为4）之内，证明其接近最优。
• 通过向更高容量节点分配更多归约函数，该方案提升了资源利用率并降低了整体通信开销。
• 通信负载的下界通过熵不等式和基于排列的节点排序方法推导得出，表明该方案在常数因子内最优。
• 分析结果证实，当节点数K较大且r与K线性增长时，所提方案在通信负载方面优于同质CDC方案。