[論文レビュー] ServerMix: Tradeoffs and Challenges of Serverless Data Analytics

Pedro López, Marc Sánchez Artigas+7 more|arXiv (Cornell University)|Jul 26, 2019

Cloud Computing and Resource Management参考文献 27被引用数 13

ひとこと要約

この論文では、サーバーヲスとサーバーファイルのコンponentを組み合わせたハイブリッドコンピューティングモデルであるServerMixを紹介する。これは、サーバーレスデータ分析におけるパフォーマンスとコストの制限を克服することを目的としている。分散化、隔離、スケジューリングのコアなトレードオフを緩和することで、ServerMixは高パフォーマンスなデータ処理を可能にするとともに、CloudButton研究プロジェクトを通じて、スマートスケジューリング、局所化された状態、WebAssemblyを用いたポリグロット抽象化を実現し、必須のサーバーレス特性を維持する。

ABSTRACT

Serverless computing has become very popular today since it largely simplifies cloud programming. Developers do not need to longer worry about provisioning or operating servers, and they pay only for the compute resources used when their code is run. This new cloud paradigm suits well for many applications, and researchers have already begun investigating the feasibility of serverless computing for data analytics. Unfortunately, today's serverless computing presents important limitations that make it really difficult to support all sorts of analytics workloads. This paper first starts by analyzing three fundamental trade-offs of today's serverless computing model and their relationship with data analytics. It studies how by relaxing disaggregation, isolation, and simple scheduling, it is possible to increase the overall computing performance, but at the expense of essential aspects of the model such as elasticity, security, or sub-second activations, respectively. The consequence of these trade-offs is that analytics applications may well end up embracing hybrid systems composed of serverless and serverful components, which we call Servermix in this paper. We will review the existing related work to show that most applications can be actually categorized as Servermix. Finally, this paper will introduce the major challenges of the CloudButton research project to manage these trade-offs.

研究の動機と目的

• 現在のサーバーレスコンピューティングにおける根本的なトレードオフ—分散化、隔離、単純なスケジューリング—が、効率的なデータ分析にどのように障害となるかを分析すること。
• 多くの実世界の分析ワークロードが本質的にハイブリッドであり、サーバーレスとサーバーファイルのコンponentを組み合わせているため、ServerMixシステムの概念を提示すること。
• パフォーマンスが高く、コスト効率が良く、スケーラブルなサーバーレスデータ分析プラットフォームを構築するうえでの主な課題を同定すること。
• 新しいスケジューリング、状態管理、言語間相互運用性を通じてこれらの課題に対処するための研究フレームワークとしてCloudButtonプロジェクトを提唱すること。
• SLOのサポート、ストレージサービス、WebAssemblyによる言語に依存しない実行を向上させることで、真のサーバーレス分析を実現するための今後の研究を導くこと。

提案手法

• パフォーマンス、コスト、システム特性のバランスを図るために、サーバーレス関数と専用のサーバーファイルコンponentを組み合わせたハイブリッドアーキテクチャとしてServerMixモデルを導入すること。
• 同じ場所に配置された関数間でのメモリ共有を可能にする新しい隔離モデルを提案し、データ集約ワークロードにおける遅延低減とスループット向上を実現すること。
• WebAssemblyのシンプルなメモリモデルを活用して、チェックポイント、移行、リカバリメカニズムを構築することで、状態保持実行と水平スケーリングを可能にすること。
• 複数の言語で利用可能な抽象化の再利用を可能にするために、共有された中間表現（IR）を設計すること。
• コ-locationと局所化された状態を活用したスマートスケジューリングを採用し、ハイブリッドワークロードにおけるパフォーマンスとリソース利用効率を最適化すること。
• 言語サポートの統一と実行状態の効率的シリアル化を可能にするために、ポータブルで安全かつ効率的な実行基盤としてWebAssemblyを活用すること。

実験結果

リサーチクエスチョン

• RQ1 サーバーレスコンピューティングのコアなトレードオフ—分散化、隔離、スケジューリング—は、どのようにデータ分析ワークロードのパフォーマンスとコスト効率を制限しているのか？
• RQ2 サーバーレスとサーバーファイルコンponentを組み合わせたハイブリッドシステム（ServerMix）は、純粋なサーバーレスまたは従来のVMベースのクラスターよりも、どの程度優れているのか？
• RQ3 実世界の分析ワークロードに実用的で、パフォーマンスが高く、コスト効率の良いServerMixシステムを実現するために、どのようなアーキテクチャ的およびシステムレベルのイノベーションが必要か？
• RQ4 軽量で言語に依存しない隔離と状態管理は、どのようにサーバーレス環境で実現可能か？これにより、複雑なデータ処理パイプラインのサポートが可能になる。
• RQ5 WebAssemblyと共有された中間表現は、どのようにポータブルで効率的かつスケーラブルなサーバーレス分析プラットフォームの実現を可能にするのか？

主な発見

• 現在のサーバーレスプラットフォームは、VMやクラスターシステムと比較して、データ分析用途では著しくパフォーマンスが低く、コストも高い。例として、機械学習パイプラインでは3〜5倍遅く、最大7倍も高価である。
• 高いパフォーマンスを発揮するサーバーレスワークロード（例：ExCamera や PyWren）でさえも、外部のサーバーファイルサービス（例：S3、Redis、VMベースのレジョン）に依存しており、実世界の展開が本質的にハイブリッドであることを裏付けている。
• サーバーレスコンピューティングの厳密な隔離と分散化を緩和することで、パフォーマンスを最大60％向上させ、コストを削減できるが、その代わりにエラスティシティとセキュリティが損なわれる。
• CloudButtonプロジェクトは、スマートスケジューリングと局所化された状態共有が、ハイブリッド環境におけるデータ集約ワークロードのパフォーマンスを顕著に向上させられることを実証している。
• WebAssemblyは、効率的な状態シリアル化と移行を可能にし、サーバーレスシステムにおける水平スケーリングとフォールトトレランスを透明に実現する。
• 既存の多くのサーバーレス分析システムは、実際にはすでにServerMixであることが判明しており、ハイブリッドモデルは単なる一時的な解決策ではなく、パラダイムの必然的進化であることが示唆されている。