[논문 리뷰] Serverless Model Serving for Data Science.

Yuncheng Wu, Tien Tuan Anh Dinh외 4명|arXiv (Cornell University)|2021. 03. 04.

Cloud Computing and Resource Management참고 문헌 31인용 수 4

한 줄 요약

이 논문은 데이터 과학에서 기계학습 모델 서빙을 위한 가용 플랫폼으로 서버리스 컴퓨팅을 평가하며, 특정 조건 하에서 전통적인 클라우드 및 GPU 기반 시스템에 비해 비용과 지연 시간 측면에서 뛰어나다는 것을 입증한다. 저자들은 AWS와 GCP에서의 크로스 클라우드 성능 및 비용 평가를 수행하여, 서버리스가 특히 변동성이 있거나 저에서 중간 수준의 워크로드일 경우 GPU 시스템에 맞추거나 능가하는 효율성을 보임을 보여준다.

ABSTRACT

Machine learning (ML) is an important part of modern data science applications. Data scientists today have to manage the end-to-end ML life cycle that includes both model training and model serving, the latter of which is essential, as it makes their works available to end-users. Systems for model serving require high performance, low cost, and ease of management. Cloud providers are already offering model serving options, including managed services and self-rented servers. Recently, serverless computing, whose advantages include high elasticity and fine-grained cost model, brings another possibility for model serving. In this paper, we study the viability of serverless as a mainstream model serving platform for data science applications. We conduct a comprehensive evaluation of the performance and cost of serverless against other model serving systems on two clouds: Amazon Web Service (AWS) and Google Cloud Platform (GCP). We find that serverless outperforms many cloud-based alternatives with respect to cost and performance. More interestingly, under some circumstances, it can even outperform GPU-based systems for both average latency and cost. These results are different from previous works' claim that serverless is not suitable for model serving, and are contrary to the conventional wisdom that GPU-based systems are better for ML workloads than CPU-based systems. Other findings include a large gap in cold start time between AWS and GCP serverless functions, and serverless' low sensitivity to changes in workloads or models. Our evaluation results indicate that serverless is a viable option for model serving. Finally, we present several practical recommendations for data scientists on how to use serverless for scalable and cost-effective model serving.

연구 동기 및 목표

• 서버리스 컴퓨팅이 데이터 과학 애플리케이션의 모델 서빙을 위한 주류 플랫폼으로 가능한지 평가하기.
• 기존 클라우드 기반 및 GPU 가속 모델 서빙 시스템과의 성능 및 비용 비교하기.
• 성능 저하 요인과 플랫폼 간 차이점, 특히 AWS와 GCP 간의 쿨 스타트 지연 시간에 초점하기.
• 서버리스를 활용한 확장성 있고 비용 효율적인 모델 서빙을 위한 데이터 과학자에게 실용적인 권고 사항 제공하기.
• 서버리스가 기계학습 워크로드에 부적합하며 GPU 시스템이 모델 추론에 본질적으로 열등하지 않다는 일반적인 믿음을 도전하기.

제안 방법

• AWS와 구글 클라우드 플랫폼(GCP)에서의 모델 서빙 시스템에 대한 종합적인 벤치마킹 평가 수행하기.
• 실제 데이터 과학 워크로드를 사용하여 다양한 모델 유형과 입력 크기에서 지연 시간, 처리량 및 비용 측정하기.
• 다양한 모델 서빙 아키텍처를 구현하고 비교하기: 서버리스 함수(AWS Lambda, GCP Cloud Functions), 관리형 GPU 인스턴스, 자가 호스팅된 CPU/GPU 서버.
• AWS와 GCP 서버리스 플랫폼 간 쿨 스타트 성능 차이 분석하기.
• 워크로드 변동성과 모델 복잡성 변화에 대한 시스템 민감도 평가하기.
• 다양한 시나리오에서 성능 및 비용 트레이드오프를 바탕으로 실용적인 배포 가이드라인 도출하기.

실험 결과

연구 질문

• RQ1 서버리스 컴퓨팅은 GPU 기반 및 관리형 클라우드 대안과 비교해 기계학습 모델 서빙에서 경쟁력 있는 성능과 비용 효율성을 제공할 수 있는가?
• RQ2 AWS와 GCP 간 서버리스 함수의 쿨 스타트 지연 시간은 어떻게 다를지, 전체 시스템 성능에 어떤 영향을 미치는가?
• RQ3 어떤 워크로드 조건에서 서버리스가 지연 시간과 비용 측면에서 GPU 가속 시스템을 능가하는가?
• RQ4 서버리스 모델 서빙은 모델 크기, 입력 데이터 또는 요청 빈도의 변화에 얼마나 민감한가?
• RQ5 확장성 있고 비용 효율적인 모델 서빙을 위해 데이터 과학자가 서버리스를 도입할 때 고려해야 할 실용적 배포 고려사항은 무엇인가?

주요 결과

• 요청 빈도가 중간에서 낮은 워크로드의 경우, 서버리스는 많은 클라우드 기반 대안들보다 비용과 성능 측면에서 뛰어나다.
• 특정 조건 하에서 서버리스는 GPU 기반 시스템보다 평균 지연 시간과 비용이 낮게 유지되며, 추론에 있어 GPU가 항상 슈퍼어리어라는 가정을 도전한다.
• AWS와 GCP 서버리스 함수 간 쿨 스타트 지연 시간에 상당한 격차가 있으며, GCP는 특히 더 긴 쿨 스타트를 보인다.
• 서버리스는 워크로드 볼륨과 모델 복잡성의 변화에 대해 낮은 민감도를 보이며, 동적인 데이터 과학 워크로드에 강력한 적응력을 보인다.
• 변동성 있거나 돌발적인 워크로드가 발생하는 시나리오에서 서버리스의 성능 및 비용 이점은 가장 두드러지며, 세밀한 자원 할당이 비효율적 비용을 줄인다.
• 이 연구는 데이터 과학자가 확장성 있고 비용 효율적이며 성능이 뛰어난 모델 서빙을 위해 서버리스를 활용할 수 있는 실질적인 권고 사항을 제공한다.