[論文レビュー] The Serverless Scheduling Problem and NOAH

Manuel Stein|arXiv (Cornell University)|Sep 17, 2018

Scheduling and Optimization Algorithms参考文献 6被引用数 11

ひとこと要約

本稿では、キュー待機時間のしきい値を調整することで応答時間とリソースコストのバランスをとる、非協力的オンライン割り当てヒューリスティックであるNOAHを提案する。仮想的割り当てとコンテナのフラッシュ制御により、NOAHは高利用度下でOpenWhiskや非協力的ゲーム理論的負荷分散を上回り、遅延とコストの間で設定可能なトレードオフにより、応答時間は低く抑えられ、コンテナの利用効率が向上する。

ABSTRACT

The serverless scheduling problem poses a new challenge to Cloud service platform providers because it is rather a job scheduling problem than a traditional resource allocation or request load balancing problem. Traditionally, elastic cloud applications use managed virtual resource allocation and employ request load balancers to orchestrate the deployment. With serverless, the provider needs to solve both the load balancing and the allocation. This work reviews the current Apache OpenWhisk serverless event load balancing and a noncooperative game-theoretic load balancing approach for response time minimization in distributed systems. It is shown by simulation that neither performs well under high system utilization which inspired a noncooperative online allocation heuristic that allows tuning the trade-off between for response time and resource cost of each serverless function.

研究の動機と目的

• 高利用度下におけるサーバーヲスプラットフォームにおける応答時間とリソースコストのバランスをとる課題に対処すること。
• Apache OpenWhisk や非協力的ゲーム理論的負荷分散といった既存のスケジューラには、スケーリングの際の過剰なコンテナのフラッシュとスケールアップにおける性能劣化の問題があるため、それらの制限を克服すること。
• アプリケーション固有の応答時間とコスト要件に基づいてスケーリング動作を調整可能なパラメータ化されたオンライン割り当てヒューリスティックを設計すること。
• シミュレーテッド分散サーバーレス環境において、コンテナの利用効率、応答時間、リソースコストのトレードオフを評価すること。

提案手法

• NOAHは、インスタンススケーリングを制御し、コンテナのフラッシュを低減するために、非協力的オンライン割り当てヒューリスティックを用いる。
• 待ち時間の推定にErlang-C式を適用し、望ましい応答時間しきい値（α）に基づいて必要なホスト数を設定する。
• 同時に処理されるイベント数とホストあたりの合計コンテナ数の両方を制限することで、過剰なリソース割り当てとアイドルコンテナの排除を防ぐ。
• NOAHは必要最小限のホストのみをカバーするように動的にスケールアウトし、未使用のVMを解放することでコストを削減する。
• 負荷分散とリソース割り当てを分離することで、応答時間とリソース利用効率を独立してチューニング可能にする。
• 到着率（Λ）、待ち時間しきい値（α）、コンテナセットアップ時間（500 ms）を変化させたシミュレーションにより、アプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 高利用度下において、NOAHはApache OpenWhisk や非協力的ゲーム理論的負荷分散と比較して、応答時間とコンテナのフラッシュの点でどのように異なるか？
• RQ2 待ち時間しきい値αを調整することで、NOAHはコールドスタートをどれほど低減し、コンテナの利用効率を向上させられるか？
• RQ3 NOAHにおける異なるα設定において、応答時間とリソースコストのトレードオフはどのように現れるか？
• RQ4 コンテナセットアップ時間とメッセージの分布が、サーバーレスプラットフォームにおけるスケジューリング性能に与える影響は何か？

主な発見

• NOAHは、ワークロードの増加に比例して安定したコールドスタート率を維持するが、OpenWhiskは50～60件/秒の時点で過剰なフラッシュと性能劣化を経験する。
• 高負荷下では、α = 10 μs（厳密な応答時間）のNOAHが最も低い応答時間と最も高いコンテナ利用効率を達成するが、α = 10 msではホスト数は少ないがフラッシュ率が高い。
• 特に高負荷下では、NOAHはエビクションの削減とインスタンスの再利用の向上により、OpenWhisk や非協力的負荷分散よりも高いコンテナ利用効率を達成する。
• NOAHにおけるコンテナ生成数はワークロードに比例して増加するが、OpenWhisk や非協力的アプローチでは、攻撃的なエビクションとランダムな負荷分布により急激なピークが観察される。
• NOAHは未使用ホストを完全に解放することでリソースコストを削減し、最小限のサイト集合のみをカバーするが、OpenWhisk や非協力的アプローチではフルプールの利用効率を維持する。
• シミュレーションの結果、より長い待ち時間を許容する（α = 10 ms）とホストカバレッジが低下し、フラッシュ率が上昇するが、より厳しいしきい値（α = 10 μs）では利用効率が向上し、コールドスタートが低減することが示された。