[論文レビュー] Scout: An Experienced Guide to Find the Best Cloud Configuration

Chin-Jung Hsu, Vivek Nair+2 more|arXiv (Cornell University)|Mar 4, 2018

Cloud Computing and Resource Management参考文献 18被引用数 42

ひとこと要約

Scout は歴史的な低レベルのパフォーマンスデータとペアワイズ学習を用いて探索ベースの最適化を導く。従来法よりも探索コストを抑えつつ、ほぼ最適なクラウド構成を達成する。

ABSTRACT

Finding the right cloud configuration for workloads is an essential step to ensure good performance and contain running costs. A poor choice of cloud configuration decreases application performance and increases running cost significantly. While Bayesian Optimization is effective and applicable to any workloads, it is fragile because performance and workload are hard to model (to predict). In this paper, we propose a novel method, SCOUT. The central insight of SCOUT is that using prior measurements, even those for different workloads, improves search performance and reduces search cost. At its core, SCOUT extracts search hints (inference of resource requirements) from low-level performance metrics. Such hints enable SCOUT to navigate through the search space more efficiently---only spotlight region will be searched. We evaluate SCOUT with 107 workloads on Apache Hadoop and Spark. The experimental results demonstrate that our approach finds better cloud configurations with a lower search cost than state of the art methods. Based on this work, we conclude that (i) low-level performance information is necessary for finding the right cloud configuration in an effective, efficient and reliable way, and (ii) a search method can be guided by historical data, thereby reducing cost and improving performance.

研究の動機と目的

• 問題を動機づけるために、パフォーマンスとコストのバランスを取るためのワークロードに対する最適なクラウド構成の選択という課題を提示する。
• 歴史情報を取り入れた探索ベースの手法として Scout を提案し、探索と利用のトレードオフを改善する。
• 低レベルのパフォーマンス指標と転移学習が効率的な設定探索を導くことを示す。
• 多数のワークロードと構成に渡るスケーラビリティと信頼性を示す。

提案手法

• クラウド構成探索を固定構成空間上の逐次最適化として定式化する。
• 低レベルのパフォーマンス指標から探索ヒントを抽出し、ペアワイズ比較モデルを導く。
• 以前のワークロードからの歴史データを用いて、構成をランク付けする緩和された転移学習モデルを形成する。
• 絶対性能を予測するのではなく、ペアワイズ（相対的）予測アプローチを採用する。
• 現在の最良を上回ると予測される確率が最も高い次の構成を選択する探索戦略を採用し、履歴を活用して収束を速める。
• 確率閾値と誤予測許容度に基づく停止基準を提供。

実験結果

リサーチクエスチョン

• RQ1 他のワークロードの歴史的パフォーマンスデータは、近似最適なクラウド構成を見つける際の探索コストを削減できるか？
• RQ2 ペアワイズ、転移学習、低レベル指標ベースのモデルは、CherryPick や PARIS のような従来手法と比較して探索精度と収束速度を改善するか？
• RQ3 低レベル指標と転移学習は多様なワークロードに対する信頼性にどう影響するか？
• RQ4 多数のワークロードとクラウド構成に対する Scout の性能とコストのトレードオフは？
• RQ5 アプローチは初期点とパラメータ設定に対してロバストですか？

主な発見

• Scout は単一ノード実験で 107 ワークロード中 87% に対して ほぼ最適な構成（10%以内）を見つける。
• Scout は実行時間と導入コスト最適化の面で CherryPick およびランダムベースラインよりも探索コストを低くする。
• 歴史データと低レベル指標を用いると、従来法より信頼性と収束速度が向上する。
• このアプローチは実行間の分散が低く、競合手法より信頼性が向上していることを示す。
• コスト最適化は難しく、時間最適化より多くの探索 steps を要することが多いが、Scout は依然として効率的に収束する。
• 評価にはマルチノード設定で 69 のクラウド構成上で 18 のワークロードを含み、スケーラビリティを示す。