[논문 리뷰] Serverless End Game: Disaggregation enabling Transparency

Pedro Garcı́a-López, Aleksander Slominski외 3명|arXiv (Cornell University)|2020. 06. 01.

Cloud Computing and Resource Management인용 수 5

한 줄 요약

이 논문은 서버리스 컴퓨팅에서 자원 분리 기반 아키텍처가 단일 머신 코드를 수정하지 않고도 분산형, 유연한 클라우드 자원에서 효율적으로 실행될 수 있도록 완전한 투명성(transparent)을 가능하게 한다고 주장한다. 실험 결과 현지 실행과 유사한 성능을 보였으며, 보편적인 투명성을 달성하기 위한 다섯 가지 핵심 연구 과제를 규명하였다.

ABSTRACT

For many years, the distributed systems community has struggled to smooth the transition from local to remote computing. Transparency means concealing the complexities of distributed programming like remote locations, failures or scaling. For us, full transparency implies that we can compile, debug and run unmodified single-machine code over effectively unlimited compute, storage, and memory resources. We elaborate in this article why resource disaggregation in serverless computing is the definitive catalyst to enable full transparency in the Cloud. We demonstrate with two experiments that we can achieve transparency today over disaggregated serverless resources and obtain comparable performance to local executions. We also show that locality cannot be neglected for many problems and we present five open research challenges: granular middleware and locality, memory disaggregation, virtualization, elastic programming models, and optimized deployment. If full transparency is possible, who needs explicit use of middleware if you can treat remote entities as local ones? Can we close the curtains of distributed systems complexity for the majority of users?

연구 동기 및 목표

• 응용 프로그램 개발자가 분산 시스템의 복잡성을 인지하지 못하도록 클라우드 컴퓨팅에서 완전한 투명성을 달성하기 위해.
• 서버리스 아키텍처에서 자원 분리 기반 기술이 수정되지 않은 단일 머신 코드가 현지 실행과 유사한 성능으로 실행될 수 있는지 탐구하기 위해.
• 클라우드 환경에서 완전한 투명성을 방해하는 열린 연구 과제를 규명하고 해결하기 위해.
• 저지연, 분리된 자원이 기존 분산 시스템의 장애 요인인 지연, 동시성, 부분 실패 문제를 극복하는 데 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 컴pute, 스토리지, 메모리를 별도로 확장 가능한 원격 자원으로 분리함으로써 클라우드 인프라 내 자원 분리 기술을 활용하기 위해.
• 기존 서버리스 프리미티브인 함수로서의 서비스(FaaS), 클라우드 객체 스토리지, 메시징 시스템 등을 투명한 실행을 위한 구성 요소로 사용하기 위해.
• 현지 실행과의 성능 비교를 위해 자원 분리된 서버리스 자원에서 GEMM 및 몬테카를로 실험을 설계하고 평가하기 위해.
• 가상 노드와 직접 I/O 접근 방식을 통해 자원 분리된 하드웨어에 투명하고 저지연으로 액세스할 수 있도록 LegoOS 및 Arrakis 시스템을 확장하기 위해.
• 세분화된, 지역성 인식 기반의, 확장 가능한 프로그래밍 모델을 지원하는 신세대 가상화 및 미들웨어 설계하기 위해.
• 비용과 성능 최적화를 위해 클라우드 오케스트레이션에 관측 가능성, 정적 분석, 기계학습 기반 기술을 통합하기 위해.

실험 결과

연구 질문

• RQ1 수정되지 않은 단일 머신 응용 프로그램이 자원 분리된 서버리스 클라우드 자원에 배포되었을 때, 현지 실행과 유사한 성능을 달성할 수 있는가?
• RQ2 매우 분리된, 저지연 클라우드 환경에서 자원의 지역성은 여전히 성능에 얼마나 중요한가?
• RQ3 클라우드 컴퓨팅에서 완전한 투명성을 방해하는 주요 기술적 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ4 성능나 투명성을 포기하지 않고도 로컬 및 분산 환경 간에 프로그래밍 모델을 확장성 있고 이식 가능하게 만들 수 있는가?
• RQ5 미래의 클라우드 오케스트레이션 시스템이 정적 분석과 기계학습을 통해 '클라우드 컴파일' 최적화를 지원할 수 있는가?

주요 결과

• 실험 결과, 자원 분리된 서버리스 자원에서의 원격 실행이 현지 실행과 유사한 성능을 보이며, 투명성의 실현 가능성을 입증하였다.
• 낮은 네트워크 지연에도 불구하고 많은 계산 워크로드에서 지역성이 성능에 중요한 요소로 남아 있음을 확인하였으며, 이는 자원 분리만으로는 충분하지 않음을 시사한다.
• 특히 마이크로초 수준의 저지연 RPC와 함께 자원 분리 기술이 클라우드 시스템에서 완전한 투명성을 달성하는 데 결정적인 촉매 역할을 한다.
• 기존의 가상화 및 미들웨어 솔루션은 완전한 투명성을 달성하기에 부족하며, 새로운 세분화된, 지역성 인식 기반의 미들웨어 및 런타임 시스템이 필요하다.
• 완전한 투명성으로의 전환을 위해서는 정적 분석과 기계학습 기반 오케스트레이션을 포함한 최적화된 배포 파이프라인 구축이 필수적이다.
• 원격 자원을 현지 자원처럼 취급하는 것—즉, '서버리스 슈퍼컴퓨터'와 유사한 비전—은 이제 실제로 가능해졌으며, 핵심 연구 과제가 해결된다면 곧 현실이 될 것이다.