[论文解读] No Provisioned Concurrency: Fast RDMA-codesigned Remote Fork for Serverless Computing

Xingda Wei, Fangming Lu+5 more|arXiv (Cornell University)|Mar 19, 2022

Cloud Computing and Resource Management被引用 10

一句话总结

Mitosis 是一种新型的操作系统原语，通过将内核与 RDMA 协同设计，实现了在无服务器计算中快速远程容器复制，实现了亚毫秒级的远程容器启动速度，并在机器间高效共享状态。在真实工作负载下，它将函数尾部延迟降低了 89%，并将工作流执行效率提升了 86%，同时资源使用量极低，优于冷启动和预配置并发机制。

ABSTRACT

Serverless platforms essentially face a tradeoff between container startup time and provisioned concurrency (i.e., cached instances), which is further exaggerated by the frequent need for remote container initialization. This paper presents MITOSIS, an operating system primitive that provides fast remote fork, which exploits a deep codesign of the OS kernel with RDMA. By leveraging the fast remote read capability of RDMA and partial state transfer across serverless containers, MITOSIS bridges the performance gap between local and remote container initialization. MITOSIS is the first to fork over 10,000 new containers from one instance across multiple machines within a second, while allowing the new containers to efficiently transfer the pre-materialized states of the forked one. We have implemented MITOSIS on Linux and integrated it with FN, a popular serverless platform. Under load spikes in real-world serverless workloads, MITOSIS reduces the function tail latency by 89% with orders of magnitude lower memory usage. For serverless workflow that requires state transfer, MITOSIS improves its execution time by 86%.

研究动机与目标

• 为解决无服务器计算中远程容器初始化的性能瓶颈，尤其是在负载激增期间的性能瓶颈。
• 消除传统检查点/恢复（C/R）技术在远程复制中带来的高开销。
• 在不依赖消息传递或云存储的前提下，实现在远程函数之间高效、低延迟的状态共享。
• 在极低资源预配的前提下实现快速远程复制，避免预配置并发带来的成本。
• 将操作系统内核与 RDMA 协同设计，直接访问远程物理内存，以实现高性能的远程容器创建。

提出的方法

• 利用 RDMA 通过 RNIC 直接访问远程物理内存，绕过远程操作系统和 CPU，实现低延迟内存访问。
• 实现基于拉取的 RDMA 多播模式，使多个子容器能够并发从单个父容器的内存中读取数据。
• 使用轻量级容器描述符，仅捕获远程实例化所必需的元数据，最大限度减少通信开销。
• 在远程内存访问期间应用写时复制语义，确保隔离性的同时保持高性能。
• 与 Linux 内核及 Fn 无服务器平台集成，实现端到端的远程复制与状态共享。
• 通过允许子容器直接通过 RDMA 访问父容器预先准备好的状态，优化状态传输。

实验结果

研究问题

• RQ1 是否可以在不依赖预配置并发或 C/R 技术的前提下，使远程复制的速度与本地复制相当？
• RQ2 是否可以有效地将 RDMA 与操作系统内核协同设计，以实现低延迟、高吞吐量的远程内存访问，用于容器复制？
• RQ3 是否可以消除对昂贵的状态传输机制（如消息传递或云存储）的依赖，实现远程复制？
• RQ4 与冷启动和预配置并发相比，通过 RDMA 实现的远程复制在延迟、资源使用和可扩展性方面表现如何？
• RQ5 所提出的远程复制原语是否能在负载激增期间高效地在多台机器之间扩展？

主要发现

• Mitosis 在一秒钟内实现了跨多台机器的超过 10,000 个容器的远程复制，展示了前所未有的规模与速度。
• 在真实世界无服务器工作负载下，与传统冷启动相比，函数尾部延迟降低了 89%。
• 与预配置并发相比，内存使用量降低了数个数量级，同时实现了相当的性能。
• 对于需要状态传输的无服务器工作流，Mitosis 通过直接访问预准备好的状态，将执行时间提高了 86%。
• 该系统优于基于 C/R 的远程复制，后者由于文件系统和检查点开销，比冷启动还慢。
• 基于拉取的 RDMA 多播模式在负载激增期间实现了高效、可扩展的远程复制，网络和 CPU 开销极低。