[논문 리뷰] Harvesting Idle Resources in Serverless Computing via Reinforcement Learning.

Hanfei Yu, Hao Wang외 2명|arXiv (Cornell University)|2021. 08. 28.

Cloud Computing and Resource Management참고 문헌 26인용 수 8

한 줄 요약

이 논문은 서버리스 컴퓨팅을 위한 강화학습 기반 자원 관리자인 FaaSRM을 제안한다. FaaSRM은 과다 할당된 함수들로부터 일시적 사용이 없는 자원을 동적으로 수확하고, 자원이 부족한 함수들에 재할당한다. 실시간 사용률을 모니터링하고, 안전한 딥 강화학습 메커니즘을 적용하여, 98%의 호출에서 함수 실행 시간을 35.81% 감소시키며, 38.8%의 호출에서 일시적 사용이 없는 자원을 활용하고, 39.2%의 호출을 가속화한다.

ABSTRACT

Serverless computing has become a new cloud computing paradigm that promises to deliver high cost-efficiency and simplified cloud deployment with automated resource scaling at a fine granularity. Users decouple a cloud application into chained functions and preset each serverless function's memory and CPU demands at megabyte-level and core-level, respectively. Serverless platforms then automatically scale the number of functions to accommodate the workloads. However, the complexities of chained functions make it non-trivial to accurately determine the resource demands of each function for users, leading to either resource over-provision or under-provision for individual functions. This paper presents FaaSRM, a new resource manager (RM) for serverless platforms that maximizes resource efficiency by dynamically harvesting idle resources from functions over-supplied to functions under-supplied. FaaSRM monitors each function's resource utilization in real-time, detects over-provisioning and under-provisioning, and applies deep reinforcement learning to harvest idle resources safely using a safeguard mechanism and accelerate functions efficiently. We have implemented and deployed a FaaSRM prototype in a 13-node Apache OpenWhisk cluster. Experimental results on the OpenWhisk cluster show that FaaSRM reduces the execution time of 98% of function invocations by 35.81% compared to the baseline RMs by harvesting idle resources from 38.8% of the invocations and accelerating 39.2% of the invocations.

연구 동기 및 목표

• 사용자가 지정한 함수 자원 할당이 정확하지 않아 발생하는 자원 부족 및 과다 할당 문제를 해결하기 위해.
• 과다 할당된 함수에서부터 일시적 사용이 없는 자원을 동적으로 재할당하여 서버리스 플랫폼의 자원 효율성을 향상시키기 위해.
• 함수 성능을 유지하면서도 최대한의 활용도를 달성하는 안전하고 실시간 자원 관리 시스템을 설계하기 위해.

제안 방법

• FaaSRM는 실행 파이프라인 내 각 서버리스 함수의 실시간 CPU 및 메모리 사용률을 모니터링한다.
• 딥 강화학습을 활용하여 과다 할당된 함수들로부터 언제, 얼마나 많은 일시적 사용이 없는 자원을 수확할지를 결정한다.
• 수확된 자원이 대상 함수의 성능을 떨어뜨리지 않도록 보장하는 사전 보호 메커니즘이 적용된다.
• 지속적인 런타임 모니터링과 워크로드 분석을 통해 과다 할당 및 자원 부족 함수를 식별한다.
• 자원 재할당은 함수 실행 중 동적으로 적용되어 가능한 한 성능을 향상시킨다.
• 프로토타입은 실증 평가를 위해 13노드의 Apache OpenWhisk 클러스터에 배포되었다.

실험 결과

연구 질문

• RQ1 강화학습 기반 시스템이 성능 저하 없이 과다 할당된 서버리스 함수들로부터 일시적 사용이 없는 자원을 효과적으로 탐지하고 수확할 수 있는가?
• RQ2 서버리스 환경에서 일시적 사용이 없는 자원을 동적으로 재할당하면 함수 실행 시간은 얼마나 줄일 수 있는가?
• RQ3 실제 워크로드 환경에서 안전한 자원 수확이 자원이 부족한 함수의 성능에 어떤 영향을 미치는가?
• RQ4 실제 서버리스 워크로드에서 과다 할당 및 자원 부족 함수는 얼마나 자주 발생하는가?
• RQ5 동적 자원 재할당에서 자원 효율성과 함수 신뢰성 사이의 상호 교환 관계는 어떠한가?

주요 결과

• FaaSRM는 기준 자원 관리자 대비 98%의 함수 호출에서 실행 시간을 35.81% 감소시켰다.
• 시스템은 런타임 중 38.8%의 함수 호출에서 일시적 사용이 없는 자원을 성공적으로 수확했다.
• FaaSRM는 과다 할당된 함수들로부터의 일시적 사용이 없는 자원 재할당을 통해 39.2%의 함수 호출을 가속화했다.
• 보안 메커니즘이 자원 수확 과정에서 성능 저하가 발생하지 않음을 보장했다.
• 프로토타입은 13노드의 OpenWhisk 클러스터에서 다양한 워크로드에 걸쳐 일관된 성능 향상을 보였다.
• 결과는 강화학습을 통한 동적 자원 재할당이 서버리스 플랫폼에서 자원 효율성을 크게 향상시킨다는 것을 확인시켰다.