[論文レビュー] Low-Level Augmented Bayesian Optimization for Finding the Best Cloud VM

Chin-Jung Hsu, Vivek Nair+2 more|arXiv (Cornell University)|Dec 28, 2017

Cloud Computing and Resource Management参考文献 16被引用数 7

ひとこと要約

本論文では、CPU使用率、メモリ圧力、I/Oウェイト時間などの低レベルパフォーマンス指標を surrogate モデルに統合することで、クラウドVM選択のための従来のベイズ最適化を強化する Low-Level Augmented Bayesian Optimization (LA-BO) を提案する。これらのシステムレベルの信号を組み込むことで、探索コストを著しく低減し、最適化性能を向上させ、107のワークロードのうち46件で標準BOを上回り、脆弱な状況での不適切な解を回避する。

ABSTRACT

With the advent of big data applications, which tends to have longer execution time, choosing the right cloud VM to run these applications has significant performance as well as economic implications. For example, in our large-scale empirical study of 107 different workloads on three popular big data systems, we found that a wrong choice can lead to a 20 times slowdown or an increase in cost by 10 times. Bayesian optimization is a technique for optimizing expensive (black-box) functions. Previous attempts have only used instance-level information (such as # of cores, memory size) which is not sufficient to represent the search space. In this work, we discover that this may lead to the fragility problem---either incurs high search cost or finds only the sub-optimal solution. The central insight of this paper is to use low-level performance information to augment the process of Bayesian Optimization. Our novel low-level augmented Bayesian Optimization is rarely worse than current practices and often performs much better (in 46 of 107 cases). Further, it significantly reduces the search cost in nearly half of our case studies. Based on this work, we conclude that it is often insufficient to use general-purpose off-the-shelf methods for configuring cloud instances without augmenting those methods with essential systems knowledge such as CPU utilization, working memory size and I/O wait time.

研究の動機と目的

• 多様なワークロードにおけるクラウドVMの最適選択におけるベイズ最適化の脆弱性を解消すること。
• 低レベルパフォーマンス指標がVM設定探索におけるベイズ最適化の精度と効率を向上させられるかどうかを調査すること。
• 標準BOがインスタンスレベルの情報が不足する場合に不適切な解を導く問題を回避し、探索コストを低減すること。
• CPU使用率、I/Oウェイトなどのシステムレベルの知識が、効果的なクラウドリソース設定に不可欠であることを示すこと。
• ドメイン固有のパフォーマンス信号を用いて市販の最適化手法を拡張する汎用的なフレームワークを提供すること。

提案手法

• VM実行中に収集した低レベルパフォーマンス指標（CPU使用率、ワーキングメモリサイズ、I/Oウェイト時間など）を、標準のベイズ最適化の入力空間に追加する。
• これらの低レベル指標を surrogate モデル（ガウス過程）に統合し、VM設定間でのワークロードパフォーマンスの予測精度を向上させる。
• インスタンスレベルの属性（コア数、メモリなど）とリアルタイムの低レベル指標の両方を活用する修正済みの獲得関数を用い、探索意思決定をガイドする。
• ワークロード実行中に軽量なインストルメンテーションを用いて、最小限の監視オーバーヘッドで低レベル指標を収集する。
• パラメトリックおよびノンパラメトリックなコンponentを組み合わせたハイブリッドモデリング戦略を採用し、パフォーマンストレンドをよりよく捉える。
• リアルタイムのシステムフィードバックに基づき、探索と活用のバランスを動的に調整する最適化ループを設計し、収束速度と解の品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 低レベルパフォーマンス指標は、最適なクラウドVM選択におけるベイズ最適化の有効性を向上させられるか？
• RQ2 インスタンス空間にシステムレベルの信号を追加することで、標準BOと比較して探索コストを低減し、不適切な解を回避できるか？
• RQ3 CherryPickなどの最先端手法と比較して、LA-BOのパフォーマンスは多様なビッグデータワークロードにおいてどのように異なるか？
• RQ4 標準BOが探索空間の表現が不十分であるために失敗する状況はどのようなもので、LA-BOはその問題をどのように緩和するか？
• RQ5 CPU使用率やI/Oウェイト時間などの低レベル指標が、VMパフォーマンスおよび設定効率とどの程度相関しているか？

主な発見

• LA-BOは、解の品質と探索コストの両面で107のワークロードのうち46件で標準ベイズ最適化を上回った。
• 評価されたワークロードのほぼ半数で探索コストが著しく低減され、効率性の向上が確認された。
• 標準BOは、探索空間の表現が不十分なため、50%のワークロードで高い探索コストを要したり、不適切な結果を出力したりした。
• パフォーマンスランドスケープの領域IIIでは、標準BOは最適VMを発見するまでに13イテレーションを要したが、LA-BOはより速く収束し、ベースラインで観測された1.75倍の遅延を回避した。
• CPU使用率、ワーキングメモリサイズ、I/Oウェイト時間などの低レベル指標の統合により、surrogate モデルの予測力が著しく向上した。
• 研究の結論として、市販のベイズ最適化は、必須のシステム知識による拡張がなければ、クラウドVM選択にはしばしば不十分であると結論づけた。