[논문 리뷰] No Provisioned Concurrency: Fast RDMA-codesigned Remote Fork for Serverless Computing

Xingda Wei, Fangming Lu외 5명|arXiv (Cornell University)|2022. 03. 19.

Cloud Computing and Resource Management인용 수 10

한 줄 요약

미토시스는 RDMA와 함께 커널을 공동 설계함으로써 서버리스 컴퓨팅 환경에서 빠른 원격 컨테이너 포크를 가능하게 하는 새로운 OS 기반 기능이다. 이는 밀리초 이하의 원격 컨테이너 기동 시간을 달성하고, 머신 간에 효율적인 상태 공유를 실현한다. 실제 워크로드 하에서 기능 꼬리 지연(latency)을 89% 감소시키며 워크플로우 실행을 86% 향상시키며, 자원 사용을 최소화하면서도 냉시작과 프로비저닝된 동시성(concurrency)을 모두 능가한다.

ABSTRACT

Serverless platforms essentially face a tradeoff between container startup time and provisioned concurrency (i.e., cached instances), which is further exaggerated by the frequent need for remote container initialization. This paper presents MITOSIS, an operating system primitive that provides fast remote fork, which exploits a deep codesign of the OS kernel with RDMA. By leveraging the fast remote read capability of RDMA and partial state transfer across serverless containers, MITOSIS bridges the performance gap between local and remote container initialization. MITOSIS is the first to fork over 10,000 new containers from one instance across multiple machines within a second, while allowing the new containers to efficiently transfer the pre-materialized states of the forked one. We have implemented MITOSIS on Linux and integrated it with FN, a popular serverless platform. Under load spikes in real-world serverless workloads, MITOSIS reduces the function tail latency by 89% with orders of magnitude lower memory usage. For serverless workflow that requires state transfer, MITOSIS improves its execution time by 86%.

연구 동기 및 목표

• 서버리스 컴퓨팅에서 로드 스파이크 시 발생하는 원격 컨테이너 초기화의 성능 저하 문제를 해결하기 위해.
• 기존의 체크포인트/복원(C/R) 기법이 원격 포크에 대해 높은 오버헤드를 유발하는 문제를 제거하기 위해.
• 메시지 전달이나 클라우드 스토리지에 의존하지 않고도 원격 함수 간에 효율적이고 저지연 상태 공유를 가능하게 하기 위해.
• 프로비저닝된 동시성의 비용 없이 최소 자원 할당으로도 빠른 원격 포크를 실현하기 위해.
• RDMA와 함께 OS 커널을 공동 설계하여 원격 물리 메모리에 직접 액세스함으로써 고성능 원격 컨테이너 생성을 가능하게 하기 위해.

제안 방법

• RNIC를 통해 RDMA를 활용하여 원격 물리 메모리에 직접 액세스함으로써 원격 OS 및 CPU를 우회하여 저지연 메모리 액세스를 구현한다.
• 다수의 자식 컨테이너가 단일 부모 컨테이너의 메모리에서 동시에 읽을 수 있도록 풀 기반의 RDMA 멀티캐스트 패턴을 구현한다.
• 원격 초기화에 필요한 최소한의 메타데이터만 캡처하는 경량 컨테이너 기술서를 사용하여 통신 오버헤드를 최소화한다.
• 원격 메모리 액세스 중에 복사 시점 쓰기(copy-on-write) 의미 체계를 적용하여 격리성을 확보하면서도 성능을 유지한다.
• Linux 커널과 Fn 서버리스 플랫폼에 통합하여 종단 간 원격 포크 및 상태 공유를 지원한다.
• 자식 컨테이너가 RDMA를 통해 사전 준비된 상태를 직접 액세스할 수 있도록 상태 전송을 최적화한다.

실험 결과

연구 질문

• RQ1 프로비저닝된 동시성이나 C/R 기법에 의존하지 않고도 원격 포크를 로컬 포크 수준의 속도로 구현할 수 있는가?
• RQ2 OS 커널과 RDMA를 효과적으로 공동 설계하여 컨테이너 포크를 위한 저지연·고대역폭 원격 메모리 액세스를 가능하게 할 수 있는가?
• RQ3 메시지 전달이나 클라우드 스토리지와 같은 고비용 상태 전송 메커니즘의 필요성을 원격 포크가 제거할 수 있는가?
• RQ4 냉시작과 프로비저닝된 동시성 대비 RDMA 기반 원격 포크의 지연, 자원 사용 및 확장성 측면에서의 성능 비교는 어떻게 되는가?
• RQ5 로드 스파이크 시 다수 머신 간에 제안된 원격 포크 기반 기능을 효율적으로 확장할 수 있는가?

주요 결과

• 미토시스는 여러 머신에 걸쳐 1초 이내로 10,000개 이상의 컨테이너를 원격 포크함으로써 예측할 수 없을 정도의 규모와 속도를 입증한다.
• 실제 서버리스 워크로드 하에서 기존의 냉시작 대비 기능 꼬리 지연(latency)이 89% 감소한다.
• 프로비저닝된 동시성 대비 메모리 사용량이 수 개체 수준으로 감소하면서도 동일한 성능을 달성한다.
• 상태 전달이 필요한 서버리스 워크플로우의 경우, 사전 준비된 상태에 직접 액세스할 수 있도록 함으로써 실행 시간을 86% 향상시킨다.
• 파일시스템 및 체크포인트 오버헤드로 인해 냉시작보다 느린 C/R 기반 원격 포크보다도 시스템 성능이 뛰어나다.
• 풀 기반의 RDMA 멀티캐스트 패턴은 로드 스파이크 시 네트워크 및 CPU 오버헤드를 최소화하면서도 효율적이고 확장 가능한 원격 포크를 가능하게 한다.