[論文レビュー] Gaussian process regression as a predictive model for Quality-of-Service in Web service systems

Jakub M. Tomczak, Jerzy Świątek+1 more|arXiv (Cornell University)|Jul 30, 2012

Gaussian Processes and Bayesian Inference参考文献 25被引用数 3

ひとこと要約

本稿では、Webサービスシステムにおける遅延などの品質管理（QoS）属性を確率的予測モデルとして、線形カーネルを用いたガウス過程回帰（GPR）を提案する。入力リクエストストリームとQoS結果の関係を非パrametricなベイズ的手法でモデル化し、CARTと比較して予測精度が統計的に有意に向上することを示しており、MAEのp値は1.84×10⁻⁵、MSEのp値は0.018である。

ABSTRACT

In this paper, we present the Gaussian process regression as the predictive model for Quality-of-Service (QoS) attributes in Web service systems. The goal is to predict performance of the execution system expressed as QoS attributes given existing execution system, service repository, and inputs, e.g., streams of requests. In order to evaluate the performance of Gaussian process regression the simulation environment was developed. Two quality indexes were used, namely, Mean Absolute Error and Mean Squared Error. The results obtained within the experiment show that the Gaussian process performed the best with linear kernel and statistically significantly better comparing to Classification and Regression Trees (CART) method.

研究の動機と目的

• Webサービスシステムにおける理論的性能予測モデルと実用的応用の間のギャップを埋めること。
• 入力リクエストストリームとシステム構成に基づき、QoS属性（例：遅延）を予測するモデルを開発すること。
• 制御されたシミュレーション環境において、ガウス過程回帰がCARTなどの従来手法を上回る性能を示すかを評価すること。
• 内部ノイズや未知のプロセスによるシステム行動の不確実性を扱える確率的で非パrametricなフレームワークを提供すること。
• 正確なQoS予測を通じて、動的リソース割り当てやサービス選択などの最適化タスクを支援すること。

提案手法

• 関数fがゼロ平均とカーネル関数k(x, x’)を持つガウス過程事前分布から抽出される非パrametric回帰問題としてQoS予測を定式化する。
• 観測されたQoS出力yをy = f(x) + εとしてモデル化し、精度β⁻¹のゼロ平均ガウスノイズεを仮定する。
• 訓練データからカーネル関数のハイパーパramータとノイズ分散を学習するために、タイプ2最尤推定を用いる。
• 3種類のカーネル関数を用いる：線形、平方指数、線形および平方指数成分を組み合わせた複雑なカーネル。
• ポアソン過程と対数正規分布に従うリクエストサイズを用いて、複数の需要クラスを有する合成Webトラフィックを生成するためのカスタムシミュレーション環境を開発する。
• 各需要クラスごとに時間単位あたりの固定実行レートを持つラウンドロビンスケジューラーを実装し、需要の実行をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 入力リクエストストリームが与えられた場合、線形カーネルを用いたガウス過程回帰は、WebサービスシステムにおけるQoS属性（例：遅延）を効果的に予測できるか？
• RQ2 CARTと比較して、ガウス過程回帰のQoS属性予測精度はどの程度高いか？
• RQ3 線形、平方指数、または複雑なカーネルのうち、どのカーネル関数がWebサービスQoSモデリングの文脈で最も優れた予測性能を示すか？
• RQ4 ガウス過程回帰がCARTを上回る性能向上は、統計的に有意であるか？
• RQ5 提案されたシミュレーション環境は、実世界のWebサービス行動を正確にモデル化でき、信頼性のある性能評価を可能にするか？

主な発見

• 線形カーネルを用いたガウス過程回帰は、全テストモデルの中で最も低い平均絶対誤差（MAE）と平均二乗誤差（MSE）を達成した。
• 線形カーネルは、平方指数カーネルおよび複雑なカーネルよりも優れた性能を示し、入力の類似性をより適切にモデル化できることを示している。
• 複雑なカーネル（線形および平方指数成分の和）は、単独の平方指数カーネルよりもわずかに優れた性能を示した。
• 2標本t検定の結果、GPR（線形カーネル）とCARTの間のMAE差は統計的に有意であり、p値は1.84×10⁻⁵であった。
• MSEについても、GPR（線形カーネル）とCARTの差は5%の有意水準で統計的に有意であり、p値は0.018であった。
• シミュレーション環境は、現実的なWebトラフィックパターンを効果的に生成でき、制御された条件下での予測モデルの信頼性ある評価を可能にした。