[論文レビュー] Harvesting Idle Resources in Serverless Computing via Reinforcement Learning.

Hanfei Yu, Hao Wang+2 more|arXiv (Cornell University)|Aug 28, 2021

Cloud Computing and Resource Management参考文献 26被引用数 8

ひとこと要約

本稿では、サーバessコンピューティングにおける強化学習ベースのリソースマネージャーであるFaaSRMを提案する。FaaSRMは、過剰に割り当てられた関数からアイドルリソースを動的に収集し、リソースが不足している関数に再割り当てする。リアルタイムでの利用状況を監視し、保護された深層強化学習メカニズムを適用することで、98%の呼び出しにおいて関数実行時間を35.81%短縮し、38.8%の呼び出しからアイドルリソースを活用し、39.2%の呼び出しを高速化する。

ABSTRACT

Serverless computing has become a new cloud computing paradigm that promises to deliver high cost-efficiency and simplified cloud deployment with automated resource scaling at a fine granularity. Users decouple a cloud application into chained functions and preset each serverless function's memory and CPU demands at megabyte-level and core-level, respectively. Serverless platforms then automatically scale the number of functions to accommodate the workloads. However, the complexities of chained functions make it non-trivial to accurately determine the resource demands of each function for users, leading to either resource over-provision or under-provision for individual functions. This paper presents FaaSRM, a new resource manager (RM) for serverless platforms that maximizes resource efficiency by dynamically harvesting idle resources from functions over-supplied to functions under-supplied. FaaSRM monitors each function's resource utilization in real-time, detects over-provisioning and under-provisioning, and applies deep reinforcement learning to harvest idle resources safely using a safeguard mechanism and accelerate functions efficiently. We have implemented and deployed a FaaSRM prototype in a 13-node Apache OpenWhisk cluster. Experimental results on the OpenWhisk cluster show that FaaSRM reduces the execution time of 98% of function invocations by 35.81% compared to the baseline RMs by harvesting idle resources from 38.8% of the invocations and accelerating 39.2% of the invocations.

研究の動機と目的

• ユーザーが指定する関数リソース割り当ての不正確さに起因するリソースの不足と過剰割り当てを是正すること。
• 過剰に割り当てられた関数からアイドルリソースを動的に再割り当てすることで、サーバessプラットフォームのリソース効率を向上させること。
• 関数のパフォーマンスを維持しながら、リソース利用率を最大化する安全でリアルタイムのリソース管理システムを設計すること。

提案手法

• FaaSRMは、実行パイプライン内の各サーバess関数のリアルタイムCPUおよびメモリ利用状況を監視する。
• 深層強化学習を用いて、過剰に割り当てられた関数からどれだけのアイドルリソースを収集するか、いつ収集するかを決定する。
• 保護メカニズムにより、収集されたリソースが対象関数のパフォーマンスを低下させないことを保証する。
• 継続的なランタイム監視とワークロード分析を通じて、過剰に割り当てられた関数と不足している関数を特定する。
• リソース再割り当てを関数実行中に動的に適用し、可能な範囲でパフォーマンスを向上させる。
• プロトタイプは、実証評価のため13ノードのApache OpenWhiskクラスタにデプロイされた。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのシステムは、パフォーマンスの低下を引き起こさずに、過剰に割り当てられたサーバess関数からアイドルリソースを効果的に検出・収集できるか？
• RQ2 サーバess環境において、アイドルリソースを動的に再割り当てすることで、関数実行時間はどの程度短縮できるか？
• RQ3 実世界のサーバessクラスタにおける、安全なリソース収集が不足している関数のパフォーマンスに与える影響は何か？
• RQ4 実サーバessワークロードにおいて、過剰に割り当てられた関数と不足している関数はどの程度の頻度で発生するか？
• RQ5 動的リソース再割り当てにおいて、リソース効率と関数の信頼性の間にはどのようなトレードオフがあるか？

主な発見

• FaaSRMは、ベースラインリソースマネージャーと比較して、98%の関数呼び出しにおいて実行時間を35.81%短縮した。
• システムは実行時において、38.8%の関数呼び出しからアイドルリソースを効果的に収集した。
• FaaSRMは、過剰に割り当てられた関数からアイドルリソースを再割り当てすることで、39.2%の関数呼び出しを高速化した。
• 保護メカニズムにより、リソース収集中にパフォーマンスの低下が発生しなかった。
• プロトタイプは、13ノードのOpenWhiskクラスタにおける多様なワークロードで一貫したパフォーマンス向上を示した。
• 結果から、強化学習を用いた動的リソース再割り当てが、サーバessプラットフォームにおけるリソース効率を顕著に向上させることを確認した。