[論文レビュー] Performance Modeling of Metric-Based Serverless Computing Platforms

Nima Mahmoudi, Hamzeh Khazaei|arXiv (Cornell University)|Feb 23, 2022

Cloud Computing and Resource Management被引用数 5

ひとこと要約

本論文は、Knative や Google Cloud Run のようなメトリクスベースのサーバess プラットフォーム向けに、ポアソン分布のリクエスト到着とデータ駆動型のサービス時間モデリングを用いた分析的パフォーマンスモデルを提案する。このモデルは、並列処理数とリクエストレートを変化させた状況下での応答時間とコストを予測できる。最小限のデータ収集で高い精度を達成しており、プライベートクラウド環境における実際の実験で検証されている。

ABSTRACT

Analytical performance models are very effective in ensuring the quality of service and cost of service deployment remain desirable under different conditions and workloads. While various analytical performance models have been proposed for previous paradigms in cloud computing, serverless computing lacks such models that can provide developers with performance guarantees. Besides, most serverless computing platforms still require developers' input to specify the configuration for their deployment that could affect both the performance and cost of their deployment, without providing them with any direct and immediate feedback. In previous studies, we built such performance models for steady-state and transient analysis of scale-per-request serverless computing platforms (e.g., AWS Lambda, Azure Functions, Google Cloud Functions) that could give developers immediate feedback about the quality of service and cost of their deployments. In this work, we aim to develop analytical performance models for the latest trend in serverless computing platforms that use concurrency value and the rate of requests per second for autoscaling decisions. Examples of such serverless computing platforms are Knative and Google Cloud Run (a managed Knative service by Google). The proposed performance model can help developers and providers predict the performance and cost of deployments with different configurations which could help them tune the configuration toward the best outcome. We validate the applicability and accuracy of the proposed performance model by extensive real-world experimentation on Knative and show that our performance model is able to accurately predict the steady-state characteristics of a given workload with minimal amount of data collection.

研究の動機と目的

• 並列処理数とリクエストレートを用いた自動スケーリングに使用されるメトリクスベースのサーバess プラットフォームに対する分析的パフォーランスモデルの不足に対処すること。
• 開発者および提供者に、さまざまなワークロード構成に対するパフォーマンスとコストの予測フィードバックを提供すること。
• サーバess デプロイにおけるサービス品質、コスト、リソース利用効率の最適化を可能にすること。
• プライベートクラウド環境における Knative での実際の実験を用いて、モデルの正確性を検証すること。

提案手法

• 顧客向けワークロードを表すために、多数の低確率のクライアントを持つ状況を想定し、リクエスト到着をポアソン過程としてモデル化する。
• 固定分布を仮定せずに、ワークロード固有のサービス時間分布を捉えるためにデータ駆動型技術を採用する。
• 並列処理に基づく自動スケーリング動作を確率的パフォーマンスモデルに統合し、定常状態の指標を予測する。
• 最小限のランタイムデータ収集を用いて、サービス時間およびリソース使用量の回帰モデルを学習する。
• 平均応答時間などの主要なサービス品質指標（例：平均応答時間）およびコスト（例：平均インスタンス数）を予測するためにモデルを適用する。
• 異なるプログラミング言語およびリソース負荷をかけた制御されたワークロードを用いて、Knative デプロイの実際の実験と予測を比較検証する。

実験結果

リサーチクエスチョン

• RQ1 ポアソン到着とデータ駆動型サービスモデリングを用いた分析的パフォーマンスモデルは、Knative や Google Cloud Run のようなメトリクスベースのサーバess プラットフォームにおいて、定常状態の応答時間とコストをどの程度正確に予測できるか？
• RQ2 最小限のオーバーヘッドで信頼性の高いパフォーマンス予測を達成するために、どの程度のデータ収集が必要か？
• RQ3 CPU やメモリの使用強度などの異なるワークロード特性や、並列処理制限などの構成パrameter が、パフォーマンスとコストの予測にどのように影響を与えるか？
• RQ4 開発者が最適なパフォーマンス-コストトレードオフのための構成をチューニングするのを、このモデルがどの程度支援できるか？
• RQ5 非定常動作に起因する非定常なワークロードやモデルのずれが生じた場合、モデルの頑健性はどの程度保たれるか？

主な発見

• 提案されたパフォーマンスモデルは、Knative 上のワークロードの定常状態特性を、最小限のデータ収集で正確に予測できる。
• 多様なワークロードと構成において、平均応答時間と平均インスタンス数の両方を高い精度で予測している。
• 望ましいパフォーマンスとコストの結果を得るための最適な構成設定の特定に、このモデルが効果的に機能する。
• 大規模システムにおける高い並列処理度をサポートできるため、モデルは扱いやすくスケーラブルである。
• 異なるプログラミング言語やリソース集約的なワークロードに対しても、モデルの予測は頑健であり、広範な適用性を示している。
• 非定常なワークロードや外部APIの変動性といった主な脅威を同定し、再トレーニングを対策として提案している。