[论文解读] A Review of Deep Reinforcement Learning in Serverless Computing: Function Scheduling and Resource Auto-Scaling

Amjad Yousef Majid, Eduard Marin|arXiv (Cornell University)|Oct 5, 2023

IoT and Edge/Fog Computing被引用 4

一句话总结

本文综述了深度强化学习（DRL）在无服务器计算中的应用，重点关注函数调度与资源自动扩展。评估了DRL在实时环境中动态优化性能与成本的能力，识别出有前景的结果，但指出了冷启动、仿真真实性以及多目标权衡等挑战。该研究呼吁开发更稳健的DRL模型，建立标准化基准，并探索多智能体与联邦学习，以实现可扩展且保护隐私的解决方案。

ABSTRACT

In the rapidly evolving field of serverless computing, efficient function scheduling and resource scaling are critical for optimizing performance and cost. This paper presents a comprehensive review of the application of Deep Reinforcement Learning (DRL) techniques in these areas. We begin by providing an overview of serverless computing, highlighting its benefits and challenges, with a particular focus on function scheduling and resource scaling. We then delve into the principles of deep reinforcement learning (DRL) and its potential for addressing these challenges. A systematic review of recent studies applying DRL to serverless computing is presented, covering various algorithms, models, and performances. Our analysis reveals that DRL, with its ability to learn and adapt from an environment, shows promising results in improving the efficiency of function scheduling and resource scaling in serverless computing. However, several challenges remain, including the need for more realistic simulation environments, handling of cold starts, and the trade-off between learning time and scheduling performance. We conclude by discussing potential future directions for this research area, emphasizing the need for more robust DRL models, better benchmarking methods, and the exploration of multi-agent reinforcement learning for more complex serverless architectures. This review serves as a valuable resource for researchers and practitioners aiming to understand and advance the application of DRL in serverless computing.

研究动机与目标

• 系统性回顾近期将深度强化学习（DRL）应用于无服务器计算中函数调度与资源自动扩展的研究。
• 识别用于优化无服务器工作负载的关键DRL算法、模型及性能指标。
• 分析在真实无服务器环境中应用DRL所面临的挑战，包括冷启动、仿真保真度以及超参数敏感性。
• 提出未来研究方向，以推动DRL在无服务器系统中的发展，重点关注多目标优化、鲁棒性以及隐私保护学习。
• 通过改进指标与仿真环境，为无服务器计算中DRL评估的基准化与标准化奠定基础。

提出的方法

• 对近期无服务器计算中DRL应用进行系统性文献综述，重点关注函数调度与资源扩展。
• 根据架构与训练方法，对所审查研究中使用的DRL算法（如DQN、A3C、PPO、DDPG）进行分类与分析。
• 使用标准指标（如成本、延迟、吞吐量与资源利用率）评估性能，并对比不同研究的结果。
• 评估实验中使用的仿真环境的现实性与可扩展性，识别在建模真实世界动态（如冷启动）方面的差距。
• 整合多智能体强化学习与联邦学习的见解，提出协作式、保护隐私的DRL框架。
• 提出方法论改进，包括标准化基准、不确定性量化以及面向生产环境中DRL策略的可解释性工具。

Figure 1. Deep Reinforcement Learning Overview

实验结果

研究问题

• RQ1 在无服务器环境中，哪些DRL算法在函数调度与资源自动扩展方面最为有效？它们在性能与适应性方面如何比较？
• RQ2 在真实无服务器系统中部署DRL模型面临哪些关键挑战，特别是冷启动、仿真保真度与训练时间方面？
• RQ3 如何使DRL模型在生产环境中更具应对动态与不确定工作负载的鲁棒性？
• RQ4 多目标与联邦DRL在分布式无服务器架构中，如何在成本、性能与隐私之间实现平衡？
• RQ5 需要哪些标准化基准与评估指标，以公平比较无服务器计算中的DRL解决方案？

主要发现

• DRL在无服务器计算中优化函数调度与资源自动扩展方面展现出强大潜力，相比传统方法，能实现更优的成本与性能权衡。
• 现有DRL模型通常聚焦于单一或双项目标（如成本与延迟），而多目标优化（平衡成本、性能与资源利用率）仍是开放挑战。
• 当前研究中使用的仿真环境缺乏真实性，尤其在建模冷启动与动态工作负载变化方面，限制了结果的泛化能力。
• DRL模型对超参数设置高度敏感，且需要大量计算资源，对生产环境中的实际部署构成实际障碍。
• 缺乏标准化基准与评估指标，使得跨研究比较困难，阻碍了模型选择与验证的进展。
• 未来方向如联邦学习与不确定性感知DRL（如贝叶斯网络、集成方法）对于实现隐私保护、鲁棒且自适应的无服务器编排至关重要。