[논문 리뷰] Performance Modeling of Metric-Based Serverless Computing Platforms

Nima Mahmoudi, Hamzeh Khazaei|arXiv (Cornell University)|2022. 02. 23.

Cloud Computing and Resource Management인용 수 5

한 줄 요약

이 논문은 Knative 및 Google Cloud Run과 같은 메트릭 기반 서버ess 플랫폼을 대상으로, 포아송 요청 도착과 데이터 기반 서비스 시간 모델링을 사용하여 다양한 동시성과 요청률 하에서 응답 시간과 비용을 예측하는 분석 성능 모델을 제안한다. 이 모델은 최소한의 데이터 수집으로도 높은 정확도를 달성하며, 사설 클라우드 환경에 구축된 실제 실험을 통해 검증되었다.

ABSTRACT

Analytical performance models are very effective in ensuring the quality of service and cost of service deployment remain desirable under different conditions and workloads. While various analytical performance models have been proposed for previous paradigms in cloud computing, serverless computing lacks such models that can provide developers with performance guarantees. Besides, most serverless computing platforms still require developers' input to specify the configuration for their deployment that could affect both the performance and cost of their deployment, without providing them with any direct and immediate feedback. In previous studies, we built such performance models for steady-state and transient analysis of scale-per-request serverless computing platforms (e.g., AWS Lambda, Azure Functions, Google Cloud Functions) that could give developers immediate feedback about the quality of service and cost of their deployments. In this work, we aim to develop analytical performance models for the latest trend in serverless computing platforms that use concurrency value and the rate of requests per second for autoscaling decisions. Examples of such serverless computing platforms are Knative and Google Cloud Run (a managed Knative service by Google). The proposed performance model can help developers and providers predict the performance and cost of deployments with different configurations which could help them tune the configuration toward the best outcome. We validate the applicability and accuracy of the proposed performance model by extensive real-world experimentation on Knative and show that our performance model is able to accurately predict the steady-state characteristics of a given workload with minimal amount of data collection.

연구 동기 및 목표

• 서버리스 플랫폼의 자동 스케일링에 동시성과 요청률을 사용하는 분석 성능 모델의 부족을 해결하기 위해.
• 개발자와 제공자에게 다양한 워크로드 구성에 대한 성능 및 비용에 대한 예측 피드백을 제공하기 위해.
• 서버리스 배포 환경에서 품질 서비스, 비용, 자원 활용도 최적화를 가능하게 하기 위해.
• 사설 클라우드 환경에서 Knative에 대한 실세계 실험을 통해 모델의 정확도를 검증하기 위해.

제안 방법

• 고객 대상 워크로드에서 다수의 저확률 클라이언트를 반영하기 위해 요청 도착을 포아송 과정으로 모델링한다.
• 고정된 분포를 가정하지 않고 워크로드 특화의 서비스 시간 분포를 포착하기 위해 데이터 기반 기법을 적용한다.
• 동시성 기반 자동 스케일링 동작을 확률적 성능 모델에 통합하여 안정 상태 지표를 예측한다.
• 서비스 시간과 자원 사용량을 훈련하기 위해 최소한의 런타임 데이터 수집을 사용한다.
• 평균 응답 시간과 같은 주요 품질 서비스 지표와 평균 인스턴스 수와 같은 비용을 예측하기 위해 모델을 적용한다.
• 다양한 프로그래밍 언어와 자원 부하를 가진 제어된 워크로드를 사용하여 실세계 Knative 배포와 예측 결과를 대조한다.

실험 결과

연구 질문

• RQ1 메트릭 기반 서버리스 플랫폼인 Knative 및 Google Cloud Run에서, 분석 성능 모델이 안정 상태 응답 시간과 비용을 얼마나 정확하게 예측할 수 있는가?
• RQ2 최소한의 오버헤드로 신뢰할 수 있는 성능 예측을 달성하기 위해 어느 정도의 데이터 수집이 필요한가?
• RQ3 CPU, 메모리 집약성과 같은 다양한 워크로드 특성과 동시성 제한과 같은 구성 매개변수는 성능 및 비용 예측에 어떤 영향을 미치는가?
• RQ4 개발자가 최적의 성능-비용 트레이드오프를 위해 구성 설정을 조정하는 데 모델이 어느 정도 지원할 수 있는가?
• RQ5 비정상적 동작으로 인한 모델의 편향이 발생할 경우, 모델의 탄력성은 어느 정도인가?

주요 결과

• 제안된 성능 모델은 최소한의 데이터 수집으로 Knative에서 워크로드의 안정 상태 특성을 정확하게 예측한다.
• 다양한 워크로드와 구성에서 평균 응답 시간과 평균 인스턴스 수 예측에 높은 정확도를 달성한다.
• 원하는 성능 및 비용 결과를 얻기 위한 최적의 구성 설정을 효과적으로 식별할 수 있다.
• 모델은 다루기 쉬우며 확장 가능하여 대규모 시스템에서 높은 수준의 병렬 처리를 지원한다.
• 모델의 예측은 다양한 프로그래밍 언어와 자원 집약적 워크로드에서 탄탄하여 광범위한 적용 가능성을 보여준다.
• 비정상적 워크로드와 외부 API의 변동성과 같은 주요 위협 요소를 식별하였으며, 재학습을 대응 전략으로 제안한다.