[论文解读] How to Optimally Allocate Resources for Coded Distributed Computing?

Qian Yu, Songze Li+2 more|arXiv (Cornell University)|Feb 23, 2017

Stochastic Gradient Optimization Techniques参考文献 17被引用 9

一句话总结

本文提出了一种在MapReduce框架中用于编码分布式计算的最优资源分配策略，通过联合优化服务器数量、任务分配和编码洗牌方案，最小化总执行时间。证明了使用 Q + ⌈Q/r*⌉ 台服务器——其中 Q 台为求解器，⌈Q/r*⌉ 台为辅助节点——可实现最小执行时间，且 r* 的选择可平衡计算与通信负载。

ABSTRACT

Today's data centers have an abundance of computing resources, hosting server clusters consisting of as many as tens or hundreds of thousands of machines. To execute a complex computing task over a data center, it is natural to distribute computations across many nodes to take advantage of parallel processing. However, as we allocate more and more computing resources to a computation task and further distribute the computations, large amounts of (partially) computed data must be moved between consecutive stages of computation tasks among the nodes, hence the communication load can become the bottleneck. In this paper, we study the optimal allocation of computing resources in distributed computing, in order to minimize the total execution time in distributed computing accounting for both the duration of computation and communication phases. In particular, we consider a general MapReduce-type distributed computing framework, in which the computation is decomposed into three stages: \emph{Map}, \emph{Shuffle}, and \emph{Reduce}. We focus on a recently proposed \emph{Coded Distributed Computing} approach for MapReduce and study the optimal allocation of computing resources in this framework. For all values of problem parameters, we characterize the optimal number of servers that should be used for distributed processing, provide the optimal placements of the Map and Reduce tasks, and propose an optimal coded data shuffling scheme, in order to minimize the total execution time. To prove the optimality of the proposed scheme, we first derive a matching information-theoretic converse on the execution time, then we prove that among all possible resource allocation schemes that achieve the minimum execution time, our proposed scheme uses the exactly minimum possible number of servers.

研究动机与目标

• 解决具有数万个节点的大规模分布式计算系统中的通信负载瓶颈问题。
• 通过在编码分布式计算框架中对Map、Shuffle和Reduce阶段的计算资源进行最优分配，最小化总执行时间。
• 确定实现最小执行时间的最优服务器数量、任务分配策略和编码洗牌方案。
• 建立理论下界，并证明所提方案达到信息论意义上的最小执行时间。
• 比较串行与并行执行模型，并为两者推导最优资源分配方案。

提出的方法

• 提出一种双组服务器架构：Q 台‘求解器’节点用于处理Reduce任务，⌈Q/r*⌉ 台‘辅助’节点用于冗余计算Map任务，以实现编码增益。
• 采用一种编码数据洗牌方案，其中中间值在辅助节点间缓存并进行编码，使通信负载降低 r* 倍。
• 推导执行时间的信息论下界，以证明所提方案的最优性。
• 引入参数 r* 以平衡计算与通信负载，且 r* 的选择可使总执行时间最小化。
• 分析串行与并行执行模型，表明所提方案在并行情况下最小化 max(T_map, T_shuffle) + T_reduce。
• 采用组合优化与基于熵的分析方法，建模数据依赖关系，并推导通信负载的下界。

实验结果

研究问题

• RQ1 在编码分布式计算系统中，为最小化总执行时间，应使用多少台最优服务器？
• RQ2 如何在服务器间最优分配Map和Reduce任务，以最小化通信与计算瓶颈？
• RQ3 何种编码洗牌方案可最小化通信负载，同时保持计算可行性？
• RQ4 复制因子 r* 的选择如何影响分布式MapReduce任务中计算与通信之间的权衡？
• RQ5 所提方案能否在串行与并行执行模型下均达到执行时间的信息论下界？

主要发现

• 最优服务器数量恰好为 Q + ⌈Q/r*⌉，其中 Q 为输出函数的数量，r* 为最优复制因子。
• 所提方案达到信息论意义上的最小执行时间，通过通信负载的紧致下界证明。
• 最优复制因子 r* 被推导以平衡计算与通信，使串行模式下的 T_map + T_shuffle + T_reduce 总和最小化。
• 在并行模型中，该方案通过确保通信与计算阶段平衡，最小化 max(T_map, T_shuffle) + T_reduce。
• 编码洗牌方案使通信负载降低 r* 倍，与非编码方案相比，在数据洗牌阶段实现显著加速。
• 分析证明，任何其他资源分配方案均无法实现低于所提方案的执行时间，从而确立其最优性。