[论文解读] Harvesting Idle Resources in Serverless Computing via Reinforcement Learning.

Hanfei Yu, Hao Wang+2 more|arXiv (Cornell University)|Aug 28, 2021

Cloud Computing and Resource Management参考文献 26被引用 8

一句话总结

本文提出 FaaSRM，一种基于强化学习的无服务器计算资源管理器，可动态从过度配置的函数中收集空闲资源，并将其重新分配给资源不足的函数。通过实时监控资源利用率并应用受保护的深度强化学习机制，FaaSRM 在 98% 的调用中将函数执行时间减少了 35.81%，利用了 38.8% 调用中的空闲资源，并使 39.2% 的调用获得加速。

ABSTRACT

Serverless computing has become a new cloud computing paradigm that promises to deliver high cost-efficiency and simplified cloud deployment with automated resource scaling at a fine granularity. Users decouple a cloud application into chained functions and preset each serverless function's memory and CPU demands at megabyte-level and core-level, respectively. Serverless platforms then automatically scale the number of functions to accommodate the workloads. However, the complexities of chained functions make it non-trivial to accurately determine the resource demands of each function for users, leading to either resource over-provision or under-provision for individual functions. This paper presents FaaSRM, a new resource manager (RM) for serverless platforms that maximizes resource efficiency by dynamically harvesting idle resources from functions over-supplied to functions under-supplied. FaaSRM monitors each function's resource utilization in real-time, detects over-provisioning and under-provisioning, and applies deep reinforcement learning to harvest idle resources safely using a safeguard mechanism and accelerate functions efficiently. We have implemented and deployed a FaaSRM prototype in a 13-node Apache OpenWhisk cluster. Experimental results on the OpenWhisk cluster show that FaaSRM reduces the execution time of 98% of function invocations by 35.81% compared to the baseline RMs by harvesting idle resources from 38.8% of the invocations and accelerating 39.2% of the invocations.

研究动机与目标

• 解决由于用户指定的函数资源配置不准确而导致的无服务器计算中资源不足和过度配置的问题。
• 通过将过度配置函数中的空闲资源动态重新分配给资源不足的函数，提高无服务器平台的资源效率。
• 设计一种安全、实时的资源管理系统，在最大化资源利用率的同时保持函数性能。

提出的方法

• FaaSRM 监控执行流水线中每个无服务器函数的实时 CPU 和内存利用率。
• 它采用深度强化学习来决定何时以及从多少空闲资源中进行收割，以从过度配置的函数中提取资源。
• 一种保护机制确保收割的资源不会降低目标函数的性能。
• 系统通过持续的运行时监控和工作负载分析，识别出过度配置和资源不足的函数。
• 资源重新分配在函数执行期间动态应用，以在可能的情况下加速性能。
• 原型在 13 个节点的 Apache OpenWhisk 集群上进行部署，以进行实证评估。

实验结果

研究问题

• RQ1 基于强化学习的系统能否在不降低性能的前提下，有效检测并从过度配置的无服务器函数中收割空闲资源？
• RQ2 在无服务器环境中，通过动态重新分配空闲资源，函数执行时间最多可减少多少？
• RQ3 在真实世界的无服务器集群中，安全资源收割对资源不足函数的性能有何影响？
• RQ4 在真实的无服务器工作负载中，过度配置和资源不足的函数出现的频率如何？
• RQ5 在动态资源重新分配中，资源效率与函数可靠性之间的权衡是什么？

主要发现

• 与基线资源管理器相比，FaaSRM 在 98% 的函数调用中将执行时间减少了 35.81%。
• 该系统在运行时成功从 38.8% 的函数调用中收割了空闲资源。
• FaaSRM 通过从过度配置的对应函数中重新分配空闲资源，使 39.2% 的函数调用获得加速。
• 保护机制确保在资源收割过程中未发生性能下降。
• 该原型在 13 个节点的 OpenWhisk 集群中，对多样化工作负载表现出一致的性能提升。
• 结果证实，通过强化学习实现的动态资源重新分配可显著提升无服务器平台的资源效率。