[论文解读] Communication-Aware Scheduling of Serial Tasks for Dispersed Computing

Chien-Sheng Yang, Ramtin Pedarsani+1 more|arXiv (Cornell University)|Apr 17, 2018

Cloud Computing and Resource Management参考文献 41被引用 5

一句话总结

本文提出了一种面向分散计算网络的通信感知调度框架，其中任务被建模为链式结构或有向无环图（DAG），并显式建模了服务器间的通信延迟。该框架引入了一个虚拟队列网络来编码系统状态，并通过流极限下的李雅普诺夫稳定性分析，证明了最大权重（Max-Weight）调度策略具有吞吐量最优性。

ABSTRACT

There is a growing interest in development of in-network dispersed computing paradigms that leverage the computing capabilities of heterogeneous resources dispersed across the network for processing massive amount of data is collected at the edge of the network. We consider the problem of task scheduling for such networks, in a dynamic setting in which arriving computation jobs are modeled as chains, with nodes representing tasks, and edges representing precedence constraints among tasks. In our proposed model, motivated by significant communication costs in dispersed computing environments, the communication times are taken into account. More specifically, we consider a network where servers are capable of serving all task types, and sending the results of processed tasks from one server to another server results in some communication delay that makes the design of optimal scheduling policy significantly more challenging than classical queueing networks. As the main contributions of the paper, we first characterize the capacity region of the network, then propose a novel virtual queueing network encoding the state of the network. Finally, we propose a Max-Weight type scheduling policy, and considering the virtual queueing network in the fluid limit, we use a Lyapunov argument to show that the policy is throughput-optimal.

研究动机与目标

• 通过显式建模通信延迟，解决分散计算中高通信与延迟成本的问题。
• 表征具有异构计算与通信资源的网络的容量区域。
• 设计一种考虑任务依赖关系与服务器间数据传输延迟的吞吐量最优调度策略。
• 将框架扩展至具有逻辑依赖约束的有向无环图（DAG），确保父任务数据被发送至与子任务相同的服务器以支持处理。
• 为基于广播的DAG调度设计一种虚拟队列网络模型，保证数据共驻，并实现吞吐量最优性。

提出的方法

• 将分散计算网络建模为一个虚拟队列网络，以编码任务处理与数据路由决策的状态。
• 引入一种最大权重调度策略，通过选择使虚拟队列队 backlog 加权和最大的动作，其中队列长度作为权重。
• 在流极限下应用李雅普诺夫漂移论证，证明当到达率位于容量区域内部时，最大权重策略可使系统稳定。
• 针对DAG调度，设计一种基于广播的虚拟队列模型，其中服务器始终广播已处理的数据，从而保证依赖任务的数据共驻。
• 使用修改后的服务速率矩阵 D 和分配向量 z，表示虚拟网络中可行的任务处理与通信动作。
• 通过证明当到达率位于容量区域内部时，流模型的李雅普诺夫漂移为负定，从而证明吞吐量最优性。

实验结果

研究问题

• RQ1 具有通信延迟与异构服务器的分散计算网络的容量区域是什么？
• RQ2 如何设计一种调度策略，使其在存在通信延迟与任务依赖关系的情况下实现吞吐量最优？
• RQ3 通信感知调度对系统稳定性与作业完成延迟有何影响？
• RQ4 在广播网络中，如何在通信约束下保留DAG工作负载中的逻辑依赖关系？
• RQ5 能否证明在同时建模计算与通信动态的虚拟队列网络中，最大权重策略具有吞吐量最优性？

主要发现

• 网络的容量区域被表征为所有存在稳定调度策略的到达率向量的集合。
• 所提出的虚拟队列网络能准确编码系统状态，包括任务依赖关系与数据路由决策。
• 通过流极限下的李雅普诺夫漂移论证，证明了最大权重策略具有吞吐量最优性，确保当所有到达率位于容量区域内部时系统保持稳定。
• 对于DAG工作负载，基于广播的虚拟队列模型确保父任务数据被发送至与子任务相同的服务器，从而解决逻辑依赖问题。
• 流模型分析表明，当到达率位于容量区域内部时，李雅普诺夫漂移为负定，意味着底层马尔可夫链具有正 recurrence 性。
• 该框架可扩展至一般DAG，且在广播机制下，最大权重策略在存在通信与依赖约束的情况下仍保持吞吐量最优性。