[論文レビュー] A simple and effective predictive resource scaling heuristic for large-scale cloud applications

Valentín Flunkert, Quentin Rebjock+3 more|arXiv (Cornell University)|Aug 3, 2020

Cloud Computing and Resource Management参考文献 23被引用数 4

ひとこと要約

この論文では、リソースプロビジョニングの遅延とスループット制限を考慮し、確率的ワークロード予測を用いて最適なスケーリング意思決定を下す、シンプルでリスクに配慮した予測型自動スケーリングヒューリスティクスを提案する。この手法は、複雑な最適化手法やベンチマーク政策を凌駕しており、特に高いリスク回避性の状況下で顕著な性能を示し、計算コストの僅か数パーセントで最適解に近い結果を達成する。

ABSTRACT

We propose a simple yet effective policy for the predictive auto-scaling of horizontally scalable applications running in cloud environments, where compute resources can only be added with a delay, and where the deployment throughput is limited. Our policy uses a probabilistic forecast of the workload to make scaling decisions dependent on the risk aversion of the application owner. We show in our experiments using real-world and synthetic data that this policy compares favorably to mathematically more sophisticated approaches as well as to simple benchmark policies.

研究の動機と目的

• リソースプロビジョニングが遅延し、スループットに制限がある大規模クラウド環境におけるリアクティブな自動スケーリングの限界を解決すること。
• 確率的予測を通じてリスク回避性を組み込んだ、実用的でスケーラブルな自動スケーリングポリシーの開発。
• 本手法を、実世界データおよび合成データを用いて、洗練された最適化手法やベースラインポリシーと比較して評価すること。
• 単純なヒューリスティクスが、最も実用的であるとされる高いリスク回避性の状況下で、ほぼ最適な性能を達成できることを示すこと。

提案手法

• 本手法は、将来のワークロードの確率的予測を用いて分位数を推定し、アプリケーション所有者のリスク許容度に基づいたリスクに配慮したスケーリング意思決定を可能にする。
• リソースプロビジョニングの遅延を補償するために、予測を予想される遅延分だけ後方にずらす「予測シフト技術」を導入する。
• 過小プロビジョニングに対するペナルティを過大プロビジョニングよりも重くするリスクに配慮したコスト関数を最小化することで、スケーリングポリシーを導出する。
• 調整済みの予測と現在の容量を比較して、必要なホストの増加・減少を計算し、その調整を予想されるプロビジョニング時間分遅らせる。
• 複雑な混合整数計画法を解くのではなく、最適解に非常に近い近似を実現するヒューリスティクスを用いるため、計算効率が非常に高い。
• 本手法は、1,000のAmazon自動スケーリンググループの実世界データおよび強い季節的パターンとノイズを含む合成データセットを用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 実際のクラウド制約下で、複雑な最適化ベースの自動スケーリングポリシーと同等の性能を達成できる単純なヒューリスティクスは存在するか？
• RQ2 リソースプロビジョニングの遅延が存在する状況下で、確率的予測を用いることで、ポイント予測に比べてスケーリング意思決定がどのように改善されるか？
• RQ3 リスク回避性が最適なスケーリングポリシーにどの程度影響を与えるか。また、ヒューリスティクスはその影響を効果的に捉えられるか？
• RQ4 予測シフト技術は、コストを最小限に抑えつつ、リソースプロビジョニングの遅延を効果的に補償できるか？
• RQ5 コストとスケーラビリティの観点から、本手法はリアクティブおよびベースラインヒューリスティクスポリシーと比べてどの程度優れているか？

主な発見

• 予測シフトヒューリスティクスは、数学的プログラミングを用いて得られる最適解と同等のコスト性能を達成しており、特に高いリスク回避性の状況下で顕著である。
• 強い季節的パターンと低ノイズを示す合成データセット（D₁）では、中央値および極端な損失の観点で、Max DayおよびMax Weekベースラインを著しく上回った。
• 実世界データ（R₁）では、中央値の損失がMax Day/Weekポリシーよりも高かったが、極端な損失が著しく減少しており、リスク管理の観点で優れた性能を示した。
• リスク回避度（α）が高い場合、特にα ≈ 0.9付近では、ヒューリスティクスが最適ポリシーのスケーリングパターンを非常によく再現した。
• ヒューリスティクスの計算コストは、完全な最適化に比べて僅か数パーセントにとどまり、大規模な展開に実用的であることが示された。
• 本手法はプロダクション環境で利用可能であり、すでに40,000以上の内部および外部AWS自動スケーリンググループの自動スケーリングに使用されている。