[論文レビュー] No Provisioned Concurrency: Fast RDMA-codesigned Remote Fork for Serverless Computing

Xingda Wei, Fangming Lu+5 more|arXiv (Cornell University)|Mar 19, 2022

Cloud Computing and Resource Management被引用数 10

ひとこと要約

ミトーシスは、RDMAとカーネルを共同設計することで、サーバess計算におけるリモートコンテナのフォークを高速化する新しいOSプリミティブです。これにより、サブミリ秒未塔のリモートコンテナ起動が実現され、複数のマシン間で効率的な状態共有が可能になります。実世界のワークロード下で、関数のテールレイテンシーを89%削減し、ワークフロー実行を86%向上させ、プロビジョニング済みコンカurrenciesやコールドスタートを凌駆する低リソース使用量を実現しました。

ABSTRACT

Serverless platforms essentially face a tradeoff between container startup time and provisioned concurrency (i.e., cached instances), which is further exaggerated by the frequent need for remote container initialization. This paper presents MITOSIS, an operating system primitive that provides fast remote fork, which exploits a deep codesign of the OS kernel with RDMA. By leveraging the fast remote read capability of RDMA and partial state transfer across serverless containers, MITOSIS bridges the performance gap between local and remote container initialization. MITOSIS is the first to fork over 10,000 new containers from one instance across multiple machines within a second, while allowing the new containers to efficiently transfer the pre-materialized states of the forked one. We have implemented MITOSIS on Linux and integrated it with FN, a popular serverless platform. Under load spikes in real-world serverless workloads, MITOSIS reduces the function tail latency by 89% with orders of magnitude lower memory usage. For serverless workflow that requires state transfer, MITOSIS improves its execution time by 86%.

研究の動機と目的

• サーバess計算におけるリモートコンテナ初期化の性能ボトルネック、特に負荷のピーク時における課題を解決すること。
• 従来のチェックポイント/リストア（C/R）技術によるリモートフォークの高コストなオーバーヘッドを排除すること。
• メッセージ渡しやクラウドストレージに依存せずに、リモート関数間で効率的かつ低レイテンシーな状態共有を可能にすること。
• プロビジョニング済みコンカurrenciesに依存せずに、最小限のリソースプロビジョニングで高速なリモートフォークを実現すること。
• RDMAとOSカーネルを共同設計することで、リモート物理メモリに直接アクセスし、高性能なリモートコンテナ作成を可能にすること。

提案手法

• RNICを介してRDMAを活用し、リモートOSやCPUをバイパスすることで、低レイテンシーなメモリアクセスを実現する。
• 複数の子コンテナが1つの親コンテナのメモリから同時に読み込むプルベースのRDMAマルチキャストパターンを実装する。
• リモートインスタンス化に必要な最小限のメタデータのみをキャプチャする軽量なコンテナ記述子を活用し、通信オーバーヘッドを最小限に抑える。
• リモートメモリアクセス中にコピーオンライトのセマンティクスを適用することで、隔離性を確保しながらパフォーマンスを維持する。
• LinuxカーネルとFnサーバessプラットフォームに統合し、エンドツーエンドのリモートフォークと状態共有を可能にする。
• 親コンテナが事前に準備した状態に子コンテナが直接RDMAでアクセスできるようにすることで、状態転送を最適化する。

実験結果

リサーチクエスチョン

• RQ1 プロビジョニング済みコンカurrenciesやC/R技術に依存せずに、リモートフォークをローカルフォークと同等の速度で実現できるか？
• RQ2 OSカーネルとRDMAを効果的に共同設計することで、コンテナフォークに適した低レイテンシーかつ高スループットのリモートメモリアクセスを実現できるか？
• RQ3 メッセージ渡しやクラウドストレージといった高コストな状態転送メカニズムを排除できるか？
• RQ4 RDMAを介したリモートフォークは、コールドスタートやプロビジョニング済みコンカurrenciesと比較して、レイテンシー、リソース使用量、スケーラビリティの面で優れているか？
• RQ5 負荷のピーク時に、複数のマシンにわたって提案されたリモートフォークプリミティブを効率的にスケーリングできるか？

主な発見

• ミトーシスは、複数のマシンにまたがる10,000個以上のコンテナを1秒未塔でリモートフォークを実現し、前例のない規模と速度を達成した。
• 実世界のサーバessワークロード下で、従来のコールドスタートと比較して関数のテールレイテンシーが89%削減された。
• プロビジョニング済みコンカurrenciesと比較して、メモリ使用量が桁違いに削減されたが、同等のパフォーマンスを達成した。
• 状態転送を要するサーバessワークフローにおいて、ミトーシスは事前に準備された状態に直接アクセスできるため、実行時間を86%短縮した。
• ファイルシステムやチェックポイントのオーバーヘッドにより、C/Rベースのリモートフォークはコールドスタートよりも遅く、ミトーシスがそれを凌駆した。
• プルベースのRDMAマルチキャストパターンにより、負荷のピーク時でも効率的かつスケーラブルなリモートフォークが実現され、ネットワークおよびCPUのオーバーヘッドが最小限に抑えられた。