[논문 리뷰] Serverless Predictions: 2021-2030

Pedro López, Aleksander Slominski외 2명|arXiv (Cornell University)|2021. 04. 07.

Cloud Computing and Resource Management참고 문헌 14인용 수 7

한 줄 요약

이 논문은 자원 분할 기술의 발전을 통해 2030년까지 서버리스 컴퓨팅이 완전한 투명도를 달성할 것이라고 예측한다. 이를 통해 수정되지 않은 단일 머신 애플리케이션들이 실제로 무한한 원격 자원에서 실행될 수 있게 된다. 저지연 대역폭 네트워킹, 하드웨어 최적화된 미들웨어, 통합 프로그래밍 모델을 활용함으로써 서버리스 종결 상태(Serverless End Game)는 로컬 및 원격 실행을 통합하여 개발자가 인프라를 수동으로 관리하거나 수동으로 스케일링할 필요 없이 애플리케이션을 운영할 수 있게 된다.

ABSTRACT

Within the next 10 years, advances on resource disaggregation will enable full transparency for most Cloud applications: to run unmodified single-machine applications over effectively unlimited remote computing resources. In this article, we present five serverless predictions for the next decade that will realize this vision of transparency -- equivalent to Tim Wagner's Serverless SuperComputer or AnyScale's Infinite Laptop proposals.

연구 동기 및 목표

• 2021년에서 2030년 사이 서버리스 컴퓨팅의 진화를 예측하고, 분산 시스템에서 완전한 투명도를 달성하는 데 초점을 맞춘다.
• 오랜 기간 동안 지속된 분산 시스템 복잡성 숨기기 과제를 해결하기 위해 로컬 및 원격 프로그래밍 모델을 통합한다.
• 완전한 투명도를 실현가능하게 만들 핵심 기술적 요소들인 저지연 네트워킹, 메모리 분할, 효율적인 미들웨어를 특정한다.
• 응용 프로그램이 분할된 자원에서 수정 없이 실행되며 분산에 대한 인식 없이 작동하는 '서버리스 종결 상태(Serverless End Game)'의 비전을 제안한다.
• 서버리스 플랫폼의 현재 한계인 무상태성, 기능 간 통신의 열악함, 높은 비용 문제를 미들웨어 및 아키텍처 혁신을 통해 극복한다.

제안 방법

• 기능 간 통신, 시간 제한, 하드웨어 가속 기능의 제약을 극복하기 위한 기초로 다중 테넌트 쿠버네티스 기반의 서버리스 클러스터(Serverless Clusters)를 제안한다.
• 최적화된 원격 프로시저 호출(RPC)과 하드웨어 인식 스케줄링을 통해 마이크로초 수준의 원격 함수 지연(1–10 µs)을 달성하는 서버리스 미세 컴퓨팅(Serverless Granular Computing)을 도입한다.
• Faasm과 Lithops와 같은 미들웨어를 활용해 시스템 호출 및 라이브러리 인터페이스(예: POSIX, OpenMP, MPI)를 가로채어 수정되지 않은 애플리케이션의 투명한 분산 실행을 가능하게 한다.
• LegoOS를 통해 분산된 분산 운영체제를 모델로 삼으며, 표준 리눅스 시스템 호출을 통해 분할된 컴퓨팅, 메모리, 스토리지 자원을 관리하는 가상 노드(vNodes)를 노출한다.
• 데이터 센터 전역에서 빠른 오케스트레이션, 동적 자원 할당, 비용 인식 스케줄링을 가능하게 하기 위해 사용자 정의 제어 평면과 관찰성 레이어를 도입한다.
• 정적 분석과 선언적 모델링을 활용해 자원 필요량, 장애, 하드웨어 가속 가능성 등을 예측하고, 분산 워크로드의 사전 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 서버리스 플랫폼이 원격 자원을 로컬 자원과 동일하게 보이게 하여 수정되지 않은 애플리케이션이 무한하게 확장할 수 있도록 할 수 있는가?
• RQ2 원격 액세스 지연을 마이크로초 수준으로 낮추기 위해 네트워킹, 메모리, 컴퓨팅 분야에서 어떤 기술적 발전이 필요한가?
• RQ3 기존 애플리케이션—특히 상태 기반 및 동시성 워크로드—는 어떻게 수정 없이 분할된 자원에서 투명하게 실행될 수 있는가?
• RQ4 사용자 정의 제어 평면과 관찰성 메커니즘이 서버리스 환경에서 효율적이고 비용 효율적이며 탄력적인 자원 관리에 어떻게 기여하는가?
• RQ5 현재 서버리스의 한계(예: 무상태성, 높은 비용, 기능 간 통신 열악함)는 미들웨어 및 시스템 설계의 아키텍처 혁신을 통해 극복될 수 있는가?

주요 결과

• 원격 스토리지 액세스 지연은 이미 10ms에 도달했으며, 이는 로컬 디스크와 유사하고, 비가열성 메모리(NVM)를 통해 0.05ms로 감소할 것으로 예상되어 효율적인 분할을 가능하게 한다.
• 최적화된 RPC를 통한 원격 컴퓨팅 지연은 0.001–0.1ms(1–100µs) 수준으로 향후 도달할 것으로 예측되며, 이는 로컬 스레드 생성 시간(~10µs)에 근접하여 세밀한 원격 함수 실행을 가능하게 한다.
• 지속성 메모리(PMEM)를 통한 메모리 분할은 원격 액세스 지연을 0.002–0.01ms 수준으로 낮출 수 있으며, 이는 로컬 메모리(0.0001ms)와의 성능 격차를 크게 줄인다.
• Faasm과 Lithops와 같은 미들웨어는 시스템 호출 및 라이브러리 인터페이스를 가로채어 수정되지 않은 애플리케이션의 투명한 실행을 가능하게 하지만, 애플리케이션의 기반 API에 대한 인식이 필요하다.
• 2030년까지 서버리스 종결 상태는 로컬 및 원격 프로그래밍 모델을 통합하여 수정되지 않은 단일 머신 애플리케이션이 실제로 무한한 원격 자원을 통해 확장될 수 있도록 한다.
• 경량 마이크로VM의 개선된 스케줄링과 원격 자원 사용에 대한 고도화된 비용 제어 평면의 확보로 서버리스 컴퓨팅의 비용 장벽이 완화될 것이다.