[論文レビュー] An Uncertainty-Aware Approach To Optimal Configuration Of Stream Processing Systems

Pooyan Jamshidi, Giuliano Casale|arXiv (Cornell University)|Jun 22, 2016

Simulation Techniques and Applications参考文献 25被引用数 13

ひとこと要約

本稿では、ストリーム処理システム（SPS）のパフォーマンスにおける不確実性をガウス過程を用いてモデル化し、限られた実験予算のもとで逐次的に最適な構成を特定するベイズ最適化フレームワーク、BO4COを提案する。ノイズが多く、高次元な構成空間において、探索と活用のバランスを知的にとることで、ベースライン手法よりも少なくとも10倍のパフォーマンス向上を達成した。

ABSTRACT

The datasets in this release support the results presented in the paper P. Jamshidi, G. Casale, "An Uncertainty-Aware Approach to Optimal Configuration of Stream Processing Systems", accepted for presentation at MASCOTS 2016. An open access to the paper is available at https://arxiv.org/abs/1606.06543 Also open source code is available at https://github.com/dice-project/DICE-Configuration-BO4CO The archive contains 10 comma separated datasets representing performance measurements (throughput and latency) for 3 different stream benchmark applications. These have been experimentally collected on 5 different cloud cluster over the course of 3 months (24/7). Each row in the datasets represents a different configuration setting for the application and the last two columns represent the average performance of the application measured over the course of 10 minutes under that specific configuration setting. The datasets contains a full factorial and exhaustive measurements for all possible settings limited to a predetermined interval for each variable. Each dataset is named in the following format: "<em>benchmark_application-dimensions-cluster_name</em>". For example, "wc-6d-c1" refers to WordCount benchmark application with 6 dimensions (i.e., we varied 6 configuration parameters) and the application was deployed on c1 cluster (OpenNebula, see Appendix). This resulted in a dataset of size 2880, i.e., it has taken 2880*10m=480h=20days for collecting the data! For more information about the data refer to the appendix of the paper: https://arxiv.org/abs/1606.06543. When referring to the dataset or code please cite the paper above.

研究の動機と目的

• 限られた実験予算とノイズの多い測定条件下で、ストリーム処理システム（SPS）の最適構成を達成する課題に対処すること。
• 時間がかかり、専門知識を要するヒューリスティック法、ルールベース法、もしくは試行錯誤によるチューニング手法への依存を軽減すること。
• 複雑で非線形な構成空間を効率的に探索できる、自動的かつ不確実性を考慮した構成最適化フレームワークを開発すること。
• 確率的モデリングに従った逐次的実験によって、近似的に最適なSPS構成に正確かつ迅速に収束させること。

提案手法

• BO4COは、SPSパフォーマンスの応答面を構成ごとの事後分布としてモデル化するためにガウス過程（GPs）を用いる。
• 探索と活用のバランスを取る獲得関数を用いて、ベイズ最適化により次にテストする構成を逐次的に選択する。
• 過去の実験履歴を維持し、新しいデータでガウス過程モデルを更新することで、不確実性推定を精緻化し、探索効率を向上させる。
• 整数、ブール値、シリアル化手法やメッセージングフレームワークなどのカテゴリカル変数を含む、連続的およびカテゴリカルな構成パラメータをサポートする。
• 構成パラメータ間の複雑な非線形相互作用を捉えるために、さまざまなカーネル推定器を組み込む。
• 獲得関数により、最適パフォーマンスの可能性が高く、不確実性が低い領域へと実験を誘導する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化アプローチは、ストリーム処理システムにおける最適構成を特定するための実験回数を著しく削減できるか？
• RQ2 不確実性を考慮した構成チューニングは、従来のヒューリスティック法や探索ベースの手法と比較して、どのようにパフォーマンスを向上させるか？
• RQ3 限られたサンプリング条件下で、ガウス過程はSPSパフォーマンスの非線形的かつノイズの多い応答面をどれほど正確にモデル化できるか？
• RQ4 提案手法は、異なるSPSワークロードやシステム構成に一般化可能か？

主な発見

• BO4COは、最適構成からの距離という観点で、ベースライン構成アルゴリズムよりも少なくとも10倍のパフォーマンス向上を達成した。
• 限られた実験予算内で最適構成を特定でき、Apache Stormベンチマークにおいて高いサンプル効率を示した。
• 学習されたGPモデルはチューニングプロセス全体を通じて信頼性の高いパフォーマンス予測を提供し、最小限の測定回数で意思決定を支援した。
• BO4COは、3つの異なるSPSワークロードにおいて5つのベースライン手法を上回り、収束速度と正確性の両面で一貫した優位性を示した。
• 応答面の不確実性を体系的に低減することで、最適構成の最終的同定を保証する。