[논문 리뷰] Fifer: Tackling Underutilization in the Serverless Era

Jashwant Raj Gunasekaran, Prashanth Thinakaran외 3명|arXiv (Cornell University)|2020. 08. 28.

Cloud Computing and Resource Management참고 문헌 71인용 수 6

한 줄 요약

Fifer는 서버리스 함수 체인을 위한 단계 인식형, 적응형 자원 관리 프레임워크로, 여유 시간(슬랙) 기반 스케줄링과 LSTM 기반 부하 예측을 통해 요청을 지능적으로 배치함으로써 컨테이너 활용도와 클러스터 에너지 효율성을 향상시킵니다. Fifer는 SLO(≤1000ms)를 유지하면서도 컨테이너 수를 최대 80% 감소시키며, 최상위 수준의 스케줄러 대비 활용도는 4배 향상되고 에너지 소비는 31% 감소시킵니다.

ABSTRACT

Datacenters are witnessing a rapid surge in the adoption of serverless functions for microservices-based applications. A vast majority of these microservices typically span less than a second, have strict SLO requirements, and are chained together as per the requirements of an application. The aforementioned characteristics introduce a new set of challenges, especially in terms of container provisioning and management, as the state-of-the-art resource management frameworks, employed in serverless platforms, tend to look at microservice-based applications similar to conventional monolithic applications. Hence, these frameworks suffer from microservice-agnostic scheduling and colossal container over-provisioning, especially during workload fluctuations, thereby resulting in poor resource utilization. In this work, we quantify the above shortcomings using a variety of workloads on a multi-node cluster managed by Kubernetes and Brigade serverless framework. To address them, we propose \emph{Fifer} -- an adaptive resource management framework to efficiently manage function-chains on serverless platforms. The key idea is to make \emph{Fifer} (i) utilization conscious by efficiently bin packing jobs to fewer containers using function-aware container scaling and intelligent request batching, and (ii) at the same time, SLO-compliant by proactively spawning containers to avoid cold-starts, thus minimizing the overall response latency. Combining these benefits, \emph{Fifer} improves container utilization and cluster-wide energy consumption by 4x and 31%, respectively, without compromising on SLO's, when compared to the state-of-the-art schedulers employed by serverless platforms.

연구 동기 및 목표

• 서버리스 플랫폼에서 마이크로서비스 무관 스케줄링과 컨테이너 과잉 할당으로 인한 자원 낭비 및 비효율성을 해결하기 위해.
• 밀리초 수준의 지연 민감도가 높은 함수 체인을 호스팅하는 데이터센터에서 컨테이너 과잉 증식과 에너지 소비를 줄이기 위해.
• 냉각 시작 수를 최소화하고 기능 단계 간 자원 할당을 최적화하면서도 엄격한 SLO 준수(≤1000ms)를 유지하기 위해.
• 작업 부하 예측 모델을 활용해 상호 단계 간 여유 시간과 예측적 자원 모델링을 통해 효율적이고 적응형 컨테이너 프로비저닝을 가능하게 하기 위해.
• 작업 예측 기반 사전 프리워밍을 통해 냉각 시작 완화를 요청 실행과 분리함으로써 효율적인 자원 할당을 가능하게 하기 위해.

제안 방법

• Fifer는 함수 체인 내 각 단계에서의 미사용 시간 예산(슬랙)을 식별하기 위해 새로운 슬랙 추정 기법을 도입하여 지능적인 요청 배치를 가능하게 합니다.
• 과거 요청 트레이스를 기반으로 훈련된 LSTM 기반 부하 예측 모델을 사용하여 향후 부하를 예측하고 사전에 컨테이너를 확장합니다.
• 단계 인식형 컨테이너 프로비저닝을 구현하여 예측된 부하와 가용 슬랙을 기반으로 각 기능 단계의 컨테이너 수를 동적으로 조정합니다.
• Fifer는 요청 배치와 사전 컨테이너 생성을 조합하여 냉각 시작 지연을 최소화하면서도 총 컨테이너 수를 줄입니다.
• 배치가 가용 슬랙을 초과하지 않도록 보장하고 피크 부하 전에 컨테이너를 사전에 준비함으로써 SLO 준수를 유지합니다.
• 실제 다중 노드 클러스터에서의 평가를 위해 쿠베르네티스와 Brigade 서버리스 프레임워크에 통합되어 있습니다.

실험 결과

연구 질문

• RQ1 서버리스 함수 체인을 어떻게 스케줄링할 수 있을까? 이는 컨테이너 과잉 할당을 최소화하면서도 엄격한 종단 간 SLO를 유지하는 데 목적이 있다.
• RQ2 서버리스 워크로드에서 효율적인 요청 배치와 컨테이너 활용도에 미치는 상호 단계 간 슬랙의 영향은 무엇인가?
• RQ3 예측적 부하 모델링은 짧고 빠르게 실행되는 고처리량 함수 체인에서 컨테이너 프로비저닝 결정을 향상시키고 냉각 시작 오버헤드를 줄일 수 있는가?
• RQ4 단계 인식 자원 관리는 서버리스 환경에서 에너지 소비를 얼마나 줄이고 클러스터 효율성을 향상시킬 수 있는가?
• RQ5 Fifer의 접근 방식은 최상위 수준의 스케줄러와 비교해 컨테이너 활용도, SLO 준수 및 에너지 효율성 측면에서 어떤가?

주요 결과

• Fifer는 서버리스 플랫폼에서 최상위 수준의 스케줄러 대비 평균 컨테이너 생성 수를 최대 80% 감소시킵니다.
• 평가된 워크로드 전반에서 80코어 클러스터와 대규모 시뮬레이션 환경에서 Fifer는 컨테이너 활용도를 4배 향상시킵니다.
• Fifer는 어떤 SLO도 위반하지 않으면서도 클러스터 전체 에너지 소비를 31% 감소시킵니다.
• 슬랙 기반 배치와 사전 컨테이너 프리워밍을 활용함으로써 Fifer는 종단 간 지연을 1000ms SLO 요구사항 내에서 유지합니다.
• LSTM 기반 부하 예측기는 정확한 예측을 가능하게 하여 Fifer가 부하 급증을 사전에 인지하고 최소한의 지연 오버헤드로 컨테이너를 확장할 수 있도록 합니다.
• 시스템은 다양한 워크로드, 특히 머신러닝 추론 및 콘텐츠 추천 파이프라인에서 다양한 요청 도착 패턴 하에서도 뛰어난 성능을 보입니다.