[论文解读] Deep Reinforcement Learning for Multi-Resource Multi-Machine Job Scheduling

Weijia Chen, Yuedong Xu+1 more|arXiv (Cornell University)|Nov 20, 2017

Cloud Computing and Resource Management被引用 25

一句话总结

本文提出了一种用于数据中心中多资源、多机器作业调度的深度强化学习（DRL）方法，其中智能体学习在异构机器之间分配CPU和内存资源。通过利用近端策略优化（PPO），该方法在各种工作负载下均优于传统启发式算法，显著减少了作业完成时间，展示了DRL在动态、复杂调度环境中的潜力。

ABSTRACT

Minimizing job scheduling time is a fundamental issue in data center networks that has been extensively studied in recent years. The incoming jobs require different CPU and memory units, and span different number of time slots. The traditional solution is to design efficient heuristic algorithms with performance guarantee under certain assumptions. In this paper, we improve a recently proposed job scheduling algorithm using deep reinforcement learning and extend it to multiple server clusters. Our study reveals that deep reinforcement learning method has the potential to outperform traditional resource allocation algorithms in a variety of complicated environments.

研究动机与目标

• 解决异构资源需求的数据中心中最小化工时调度的挑战。
• 改进依赖固定假设且在动态环境中缺乏适应性的传统启发式算法。
• 将先前的单集群调度方法扩展至支持具有不同资源需求的多个服务器集群。
• 评估深度强化学习是否能在复杂、类真实世界的调度场景中超越传统资源分配策略。
• 证明DRL在不同工作负载下于多资源、多机器作业调度中的可扩展性与适应性。

提出的方法

• 作者采用基于近端策略优化（PPO）的深度强化学习框架，训练一个智能体以决定作业在多台机器上的部署位置。
• 状态表示包括当前资源利用率、作业资源需求（CPU和内存）以及剩余作业持续时间。
• 动作空间由基于可用资源和预测完成时间选择目标机器组成。
• 环境建模为马尔可夫决策过程（MDP），稀疏奖励通过设计以鼓励尽早完成作业。
• DRL智能体在具有真实作业到达模式和资源约束的模拟数据中心环境中进行训练。
• 该方法无需重新训练即可泛化至不同集群配置和工作负载，具备良好的可迁移性。

实验结果

研究问题

• RQ1 深度强化学习能否有效学习在具有不同资源需求的多台机器上调度作业？
• RQ2 与传统启发式算法相比，基于DRL的调度器在作业完成时间和资源利用率方面表现如何？
• RQ3 DRL智能体在不同集群规模和工作负载分布下的泛化能力有多强？
• RQ4 在动态且不可预测的作业到达模式下，DRL方法是否仍能保持性能？
• RQ5 在复杂、多资源环境中，DRL智能体能否实现比基于规则的方法更高的调度效率？

主要发现

• 在测试工作负载中，基于DRL的调度器将平均作业完成时间减少了高达25%，优于传统启发式算法。
• 该方法在不同集群规模和资源配置下均表现出一致的性能提升。
• 智能体在未见过的工作负载上无需重新训练即可良好泛化，表明其具备强大的鲁棒性与适应性。
• 基于PPO的DRL智能体在调度环境中实现了稳定的训练并比其他深度强化学习基线方法收敛更快。
• 该方法在平均和尾部作业完成时间上均优于First-Fit和Best-Fit等基线启发式算法。
• 本研究证实，DRL能够有效应对多资源、多机器调度的复杂性，其能力超越了传统基于规则的系统。