[논문 리뷰] Characterizing Commodity Serverless Computing Platforms

Jinfeng Wen, Yi Liu외 3명|arXiv (Cornell University)|2020. 12. 02.

IoT and Edge/Fog Computing참고 문헌 33인용 수 6

한 줄 요약

이 논문은 개방형 도구 TBS를 사용한 정량적 벤치마킹과 공식 문서에 대한 정성적 분석을 통해 AWS Lambda, Google Cloud Functions, Azure Functions, Alibaba Cloud Function Compute의 네 가지 주요 커modity 서버리스 플랫폼을 종합적으로 분석한다. 이는 기동 지연, 자원 효율성, 동시성 처리에서의 핵심 차이를 드러내며, 개발자와 업계 관계자에게 실질적인 통찰을 제공한다.

ABSTRACT

Serverless computing has become a new trending paradigm in cloud computing, allowing developers to focus on the development of core application logic and rapidly construct the prototype via the composition of independent functions. With the development and prosperity of serverless computing, major cloud vendors have successively rolled out their commodity serverless computing platforms. However, the characteristics of these platforms have not been systematically studied. Measuring these characteristics can help developers to select the most adequate serverless computing platform and develop their serverless-based applications in the right way. To fill this knowledge gap, we present a comprehensive study on characterizing mainstream commodity serverless computing platforms, including AWS Lambda, Google Cloud Functions, Azure Functions, and Alibaba Cloud Function Compute. Specifically, we conduct both qualitative analysis and quantitative analysis. In qualitative analysis, we compare these platforms from three aspects (i.e., development, deployment, and runtime) based on their official documentation to construct a taxonomy of characteristics. In quantitative analysis, we analyze the runtime performance of these platforms from multiple dimensions with well-designed benchmarks. First, we analyze three key factors that can influence the startup latency of serverless-based applications. Second, we compare the resource efficiency of different platforms with 16 representative benchmarks. Finally, we measure their performance difference when dealing with different concurrent requests, and explore the potential causes in a black-box fashion. Based on the results of both qualitative and quantitative analysis, we derive a series of findings and provide insightful implications for both developers and cloud vendors.

연구 동기 및 목표

• 커modity 서버리스 플랫폼에 대한 체계적인 이해 부족이 최적의 애플리케이션 개발과 플랫폼 선택을 저해하고 있음을 해결하기 위해.
• 개발, 배포, 런타임 단계에서의 주요 정적 특성을 식별하고 분류하기 위해.
• 주요 플랫폼의 실제 런타임 성능을 경험적으로 평가하여 기동 지연, 자원 효율성, 동시성 처리 능력에 중점을 두기 위해.
• 개발자에게 플랫폼 선택 및 설정 최적화에 대한 실질적인 통찰을 제공하고, 클라우드 벤더에게 아키텍처 개선 방향을 제시하기 위해.

제안 방법

• 개발, 배포, 런타임의 세 가지 차원에서 네 플랫폼의 공식 문서를 비교한 정성적 분석을 수행하여 20개의 특성으로 구성된 분류 체계를 수립하였다.
• 런타임 성능을 블랙박스 방식으로 평가하기 위해 개방소스 벤치마킹 도구 TBS를 설계 및 구현하였다.
• 기여 요인을 분리하기 위해 다양한 프로그래밍 언어, 메모리 할당량, 패키지 크기에서의 기동 지연을 측정하였다.
• 실행 시간과 자원 소비를 비교하기 위해 16개의 대표적 마이크로벤치마크와 매크로벤치마크를 사용하여 자원 효율성을 평가하였다.
• 다양한 요청 부하 하에서 동시성 성능을 평가하고, 블랙박스 관찰을 통해 확장성과 로드 밸런싱 동작을 분석하였다.
• 정밀성과 실용적 관련성을 모두 확보하기 위해 마이크로벤치마크와 실제 워크로드를 모방한 매크로벤치마크의 조합을 사용하였다.

실험 결과

연구 질문

• RQ1 주요 커modity 서버리스 플랫폼의 개발, 배포, 런타임 특성은 어떻게 다름과 동시에 개발자가 고려해야 할 핵심 제약은 무엇인가?
• RQ2 프로그래밍 언어, 메모리 크기, 패키지 크기가 AWS Lambda, Google Cloud Functions, Azure Functions, Alibaba Cloud Function Compute에서 기동 지연에 미치는 영향은 어느 정도인가?
• RQ3 대표적 워크로드를 실행할 때 플랫폼 간 자원 효율성은 어떻게 비교되는가?
• RQ4 고 동시성 요청 워크로드 하에서 플랫폼은 어떻게 확장되는가? 스케줄링 및 성능 행동에 영향을 주는 요소는 무엇인가?

주요 결과

• 기동 지연은 플랫폼 간에 크게 다름과 동시에 패키지 크기에 가장 민감하며, 일부 플랫폼에서는 패키지 크기가 커질수록 지연이 최대 300%까지 증가함.
• 모든 테스트된 프로그래밍 언어에서 Google Cloud Functions가 평균 기동 지연이 가장 낮고, 그 다음으로 AWS Lambda가 뒤이어 있음. 반면 Azure Functions와 Alibaba Cloud Function Compute는 더 높은 기본 기준 지연을 보임.
• 워크로드 유형에 따라 자원 효율성이 달라지며, 계산 집약적인 벤치마크에서 AWS Lambda와 Google Cloud Functions가 메모리 할당 단위당 더 뛰어난 성능을 달성함.
• 고도의 동시성 환경에서 Azure Functions는 가장 적극적인 확장 행동을 보이지만, 스케줄링 지연이 더 큼. 반면 AWS Lambda는 낮은 변동성을 유지하며 일관된 성능을 유지함.
• 매크로벤치마크에서 Alibaba Cloud Function Compute는 호출당 자원 소비가 가장 높아 실행 환경 초기화 과정에서 잠재적인 비효율성을 보임.
• 프로그래밍 언어 선택은 기동 지연에 측정 가능한 영향을 미치며, Node.js와 Python이 Java와 .NET에 비해 콜드 스타트 시나리오에서 일반적으로 더 뛰어난 성능을 보임.