[论文解读] GCNScheduler: Scheduling Distributed Computing Applications using Graph Convolutional Networks

Mehrdad Kiamari, Bhaskar Krishnamachari|arXiv (Cornell University)|Oct 22, 2021

Advanced Graph Neural Networks参考文献 37被引用 4

一句话总结

GCNScheduler 提出了一种基于图卷积网络（GCN）的调度器，将任务图依赖关系与网络资源特性整合到统一的输入图中，以实现在分布式系统中快速、可扩展的任务调度。其在完成时间（makespan）和吞吐量方面达到与最先进的启发式算法（如 HEFT 和 TP-HEFT）相当的性能，但调度时间却快了数个数量级——例如，50个节点的图仅需 4ms，而 HEFT 需要 1500s。

ABSTRACT

We consider the classical problem of scheduling task graphs corresponding to complex applications on distributed computing systems. A number of heuristics have been previously proposed to optimize task scheduling with respect to metrics such as makespan and throughput. However, they tend to be slow to run, particularly for larger problem instances, limiting their applicability in more dynamic systems. Motivated by the goal of solving these problems more rapidly, we propose, for the first time, a graph convolutional network-based scheduler (GCNScheduler). By carefully integrating an inter-task data dependency structure with network settings into an input graph and feeding it to an appropriate GCN, the GCNScheduler can efficiently schedule tasks of complex applications for a given objective. We evaluate our scheme with baselines through simulations. We show that not only can our scheme quickly and efficiently learn from existing scheduling schemes, but also it can easily be applied to large-scale settings where current scheduling schemes fail to handle. We show that it achieves better makespan than the classic HEFT algorithm, and almost the same throughput as throughput-oriented HEFT (TP-HEFT), while providing several orders of magnitude faster scheduling times in both cases. For example, for makespan minimization, GCNScheduler schedules 50-node task graphs in about 4 milliseconds while HEFT takes more than 1500 seconds; and for throughput maximization, GCNScheduler schedules 100-node task graphs in about 3.3 milliseconds, compared to about 6.9 seconds for TP-HEFT.

研究动机与目标

• 解决传统启发式调度器（如 HEFT 和 TP-HEFT）的可扩展性限制，这些调度器因计算开销过高，在大规模任务图上变得不可行。
• 在动态分布式环境（如物联网和边缘-云系统）中实现实时、快速的调度，这些环境中的任务图复杂且频繁需要重新调度。
• 利用图神经网络同时建模任务间依赖关系与网络异构性，捕捉任务图中的结构化与性能感知关系。
• 在不牺牲优化质量的前提下实现高调度效率，尤其针对完成时间最小化与吞吐量最大化目标。
• 在多种工作负载（包括合成数据与真实世界的感知应用）上展示泛化能力，以验证其鲁棒性与实用性。

提出的方法

• 构建一个异构输入图，包含任务节点（带执行成本特征）、通信边（带带宽与延迟特征）以及计算机器节点（带处理速度特征）。
• 应用基于空间的图卷积网络（GCN），通过消息传递聚合邻域信息，生成特定于任务的节点嵌入。
• 使用多层 GCN 配合 ReLU 激活函数与线性变换，从输入图表示中学习任务到机器的分配策略。
• 采用端到端的监督模仿学习进行训练，其中 HEFT 和 TP-HEFT 的真实调度结果作为监督信号。
• 针对两个目标进行优化：通过 HEFT 监督实现完成时间最小化，通过 TP-HEFT 监督实现吞吐量最大化，采用独立的训练流程。
• 在最终 GCN 嵌入上应用 Softmax 层，输出每个任务在机器分配上的概率分布，实现可微且高效的推理。

实验结果

研究问题

• RQ1 基于 GCN 的调度器是否能在显著降低调度时间的同时，实现与经典启发式算法（如 HEFT 和 TP-HEFT）相当的调度性能？
• RQ2 GCNScheduler 在不同规模的任务图（从小型到大规模图，如最多 5,000 个任务）上的泛化能力如何？
• RQ3 GCNScheduler 在真实应用（如人脸识别与手势识别）中，能否在保持高吞吐量与低完成时间方面表现良好？
• RQ4 与传统调度器相比，GCNScheduler 的推理速度如何随任务图复杂度的增加而变化？
• RQ5 GCN 模型能否有效从基于启发式的调度器中学习，并在无需微调的情况下泛化到未见过的任务图？

主要发现

• 在完成时间最小化方面，GCNScheduler 对 50 个节点的任务图调度耗时约 4 毫秒，而 HEFT 需要超过 1500 秒，提速达 375 倍。
• 在吞吐量最大化方面，GCNScheduler 对 100 个节点的任务图调度耗时 3.3 毫秒，而 TP-HEFT 需要 6.9 秒，提速达 2,100 倍。
• 在大规模场景下（如 3,500–5,000 个任务），GCNScheduler 的调度时间低于 90 毫秒，而 TP-HEFT 因运行时间过长而不可行。
• 在真实感知应用中，GCNScheduler 的吞吐量性能略优于 TP-HEFT，且调度时间快了 2–3 个数量级。
• 在基准任务图上，模型的调度准确率约为 95%，表明其具备强大的泛化能力与可靠性。
• 在真实世界的感知工作负载中，GCNScheduler 将调度时间从 TP-HEFT 的 87–290 毫秒降低至 0.488–0.560 毫秒，证明其在实时系统中的实际可行性。