[论文解读] Deep Reinforcement Learning for Job Scheduling and Resource Management in Cloud Computing: An Algorithm-Level Review

Yan Gu, Z. Liu+6 more|arXiv (Cornell University)|Jan 2, 2025

IoT and Edge/Fog Computing被引用 4

一句话总结

本论文提供了一个关于云端与边缘计算中任务调度和资源管理的深度强化学习（DRL）方法的算法级综述，对方法进行分类并概述挑战与未来方向。

ABSTRACT

Cloud computing has revolutionized the provisioning of computing resources, offering scalable, flexible, and on-demand services to meet the diverse requirements of modern applications. At the heart of efficient cloud operations are job scheduling and resource management, which are critical for optimizing system performance and ensuring timely and cost-effective service delivery. However, the dynamic and heterogeneous nature of cloud environments presents significant challenges for these tasks, as workloads and resource availability can fluctuate unpredictably. Traditional approaches, including heuristic and meta-heuristic algorithms, often struggle to adapt to these real-time changes due to their reliance on static models or predefined rules. Deep Reinforcement Learning (DRL) has emerged as a promising solution to these challenges by enabling systems to learn and adapt policies based on continuous observations of the environment, facilitating intelligent and responsive decision-making. This survey provides a comprehensive review of DRL-based algorithms for job scheduling and resource management in cloud computing, analyzing their methodologies, performance metrics, and practical applications. We also highlight emerging trends and future research directions, offering valuable insights into leveraging DRL to advance both job scheduling and resource management in cloud computing.

研究动机与目标

• 将用于云端任务调度与资源管理的 DRL 方法分类为基于值、基于策略、多智能体和高级 DRL 四类。
• 分析 DRL 算法在云端和边缘环境中的任务/工作流调度以及资源 provisioning/调度中的改编方式。
• 突出 DRL 方法的设计原则、性能考量和可扩展性因素。
• 识别现有不足并为云计算背景下的 DRL 提出未来研究方向。

提出的方法

• 将 DRL 技术分为四大类：基于值、基于策略、多智能体和高级 DRL。
• 详细讨论 DRL 在任务调度、工作流调度、资源 provisioning 与资源调度中的应用。
• 解释云/边缘场景中任务、工作流与资源管理的马尔可夫决策过程（MDP）形式。
• 与传统启发式/元启发式方法进行对比，强调在动态环境中的自适应性。
• 讨论未来发展方向，包括隐私/安全、鲁棒性、可扩展性、对动态/异构环境的适用性以及可解释性。

实验结果

研究问题

• RQ1 在云/边缘计算的 DRL 基础上，哪些 DRL 算法家族已被应用于作业调度和资源管理？
• RQ2 在任务/工作流调度和资源 provisioning/调度中，DRL 方法通常如何进行 MDP 组成部分的表述？
• RQ3 相较于启发式/元启发式方法，该领域的 DRL 方法有哪些主要优点与局限？
• RQ4 未来哪些研究方向最有前景，以推进云端和边缘计算环境中的 DRL 发展？

主要发现

• DRL 方法被归类为基于值、基于策略、多智能体和高级技术，用于云端调度和资源管理。
• DRL 方法同时应用于任务/工作流调度与资源 provisioning/调度，且关注动态、异构的云环境。
• 综述讨论了设计原则、性能因素与在云与边缘计算中的适用性，指出了差距与机会。
• 新兴方向包括提升隐私与安全性、鲁棒性、可扩展性、对动态环境的适用性以及模型可解释性。