[논문 리뷰] Serverless Computing: One Step Forward, Two Steps Back

Joseph M. Hellerstein, Jose M. Faleiro외 5명|arXiv (Cornell University)|2018. 12. 10.

Peer-to-Peer Network Technologies참고 문헌 16인용 수 176

한 줄 요약

이 논문은 현재 서버리스(FaaS) 서비스가 자동 확장을 진전시키지만 데이터 처리와 분산 컴퓨팅을 심각하게 방해하여 클라우드 혁신을 제한하고, 더 능력 있는 미래 플랫폼을 위한 핵심 과제를 제안한다.

ABSTRACT

Serverless computing offers the potential to program the cloud in an autoscaling, pay-as-you go manner. In this paper we address critical gaps in first-generation serverless computing, which place its autoscaling potential at odds with dominant trends in modern computing: notably data-centric and distributed computing, but also open source and custom hardware. Put together, these gaps make current serverless offerings a bad fit for cloud innovation and particularly bad for data systems innovation. In addition to pinpointing some of the main shortfalls of current serverless architectures, we raise a set of challenges we believe must be met to unlock the radical potential that the cloud---with its exabytes of storage and millions of cores---should offer to innovative developers.

연구 동기 및 목표

• 데이터 중심 및 분산 시스템의 요구와 FaaS 기반 서버리스 플랫폼의 정렬 여부 평가.
• 현재 서버리스 서비스의 핵심 아키텍처 및 성능 격차 식별.
• 이 격차가 실제 데이터 처리, 기계 학습, 분산 계산에 어떻게 제약을 주는지 시연.
• 간단한 embarrassingly parallel 작업을 넘어서 클라우드 규모 혁신을 열 수 있는 높은 수준의 도전과 방향 제시.

제안 방법

• AWS Lambda에 초점을 맞춘 기존 FaaS 인프라와 그들의 아키텍처 제약에 대한 조사.
• 데이터 집약적 작업에서 Lambda와 전통적인 VM 기반 접근 방식을 비교한 경험적 사례 연구(예: 모델 학습).
• 일반적인 서버리스 워크플로우에 대한 지연, 대역폭, 데이터 이동 오버헤드의 특징 파악.
• 현재 FaaS 제약 하에서의 분산 컴퓨팅 패턴(이벤트 주도 대 메시지 전달) 분석.
• 하드웨어 가속, 오픈 소스 생태계 및 향후 연구 방향에 대한 영향 논의.

실험 결과

연구 질문

• RQ1 현대 FaaS/서버리스 플랫폼이 데이터 중심 워크로드에 대해 가지는 주요 아키텍처 및 성능 제한은 무엇인가?
• RQ2 이러한 한계가 기계 학습 학습, 예측 서비스 제공, 분산 컴퓨팅과 같은 실제 작업에 어떻게 영향을 미치는가?
• RQ3 대규모의 데이터 및 분산 시스템을 더 잘 활용하도록 클라우드 프로그래밍 모델을 재설계할 기회는 무엇인가?
• RQ4 서버리스 플랫폼의 제약이 건전한 혁신을 촉진할 수 있는가 아니면 사용자를 독점적인 서비스에 묶어두는가?

주요 결과

• FaaS 플랫폼은 자동 확장을 가능하게 하지만 데이터 전송 아키텍처와 주소 지정되지 않은 짧은 수명의 함수로 인해 데이터 처리 및 분산 계산을 제약한다.
• 경험적 사례 연구에 따르면 대형 데이터 세트에서 Lambda 기반 모델 학습은 대규모 데이터에 대해 EC2보다 훨씬 느리고 비용이 더 많이 든다(예: 인용된 실험에서 21배 느리고 7.3배 비쌈).
• 서버리스 환경에서 예측 제공은 서버풀 대안에 비해 수십에서 수백 배 느릴 수 있으며 배치 처리 및 데이터 이동이 대기 시간과 비용을 증폭한다.
• 함수 간 직렬 네트워크 저지연 통신은 지원되지 않아 데이터가 느린 저장 시스템을 통해 흐르게 하고 미세한 분산 프로토콜을 방해한다.
• 현재의 서버리스 인프라는 사용자를 벤더 특정 서비스에 묶어두는 경향이 있으며 오픈 소스 데이터 시스템 혁신을 저해한다.
• 저자들은 서버리스가 단일 함수 자동 확장을 넘어 컴퓨트와 데이터를 함께 위치시키고 분산 조정을 지원하는 통합 클라우드 프로그래밍 모델로 확장되어야 한다는 보다 폭넓은 주장을 제시한다.