[論文レビュー] Automating Computer Bottleneck Detection with Belief Nets

John S. Breese, Russ Blake|arXiv (Cornell University)|Feb 20, 2013

Software System Performance and Reliability参考文献 19被引用数 14

ひとこと要約

本論文は、ワークロード-システム相互作用をモデル化し、パフォーマンスモニターデータの観測値を用いて、おそらくのワークロードパラメータを推定することで、Windows NT環境におけるコンピュータのボトルネック検出を自動化する信念ネットワークベースのシステムを提案する。不確実性をガウス分布で表現し、ベイズ推論を適用することで、誤差モデルがキャリブレーションされた高精度なボトルネック診断が達成され、実世界の診断シナリオにおける実現可能性が示された。

ABSTRACT

We describe an application of belief networks to the diagnosis of bottlenecks in computer systems. The technique relies on a high-level functional model of the interaction between application workloads, the Windows NT operating system, and system hardware. Given a workload description, the model predicts the values of observable system counters available from the Windows NT performance monitoring tool. Uncertainty in workloads, predictions, and counter values are characterized with Gaussian distributions. During diagnostic inference, we use observed performance monitor values to find the most probable assignment to the workload parameters. In this paper we provide some background on automated bottleneck detection, describe the structure of the system model, and discuss empirical procedures for model calibration and verification. Part of the calibration process includes generating a dataset to estimate a multivariate Gaussian error model. Initial results in diagnosing bottlenecks are presented.

研究の動機と目的

• 確率的モデリングを用いて、コンピュータシステムにおけるパフォーマンスボトルネックの検出を自動化すること。
• Windows NTにおけるワークロード、OS、ハードウェアの相互作用を高水準で機能的モデル化すること。
• ワークロード、予測、システムカウンターにおける不確実性をガウス分布で表現すること。
• 実証データと多次元ガウス誤差推定を用いて信念ネットワークをキャリブレーションすること。
• 実証的テストとモデル検証を通じて、システムの診断精度を検証すること。

提案手法

• 本システムは、アプリケーションワークロード、Windows NT OS、システムハードウェア部品の間の依存関係をモデル化する信念ネットワーク（ベイズネットワーク）を用いる。
• パフォーマンスモニターカウンターは観測可能な変数として扱われ、それらの値はワークロードパラメータとシステム構成に基づいて予測される。
• ワークロード入力、モデル予測、観測されたカウンター値における不確実性は、多次元ガウス分布を用いて定量化される。
• 診断推論は、最大後確信度（MAP）推定を用いて、観測されたパフォーマンスモニターリーディングに基づく最も確率の高いワークロードパラメータの割り当てを計算する。
• モデルキャリブレーションは、予測不確実性の多次元ガウス誤差モデルを推定するためのデータセットを生成することを含む。
• 本システムは、実世界のパフォーマンスデータを用いた実証的テストを通じて検証され、診断精度の評価がなされた。

実験結果

リサーチクエスチョン

• RQ1 信念ネットワークは、ワークロード、オペレーティングシステム、ハードウェアの複雑な相互作用を効果的にモデル化し、パフォーマンスボトルネックを検出できるか？
• RQ2 観測されたパフォーマンスモニターデータから、未知のワークロードパラメータをどれほど正確に推定できるか？
• RQ3 ガウス分布を用いた不確実性のモデル化が、診断の信頼性をどの程度向上させるか？
• RQ4 実証的パフォーマンスデータを用いて、システムをキャリブレーションおよび検証できるか？
• RQ5 信念ネットワークアプローチの診断精度は、手動分析と比較してどの程度か？

主な発見

• 信念ネットワークは、観測されたパフォーマンスモニターバリューから最も確率の高いワークロードパラメータを推定することで、ボトルネックを効果的に診断した。
• 不確実性のモデル化に多次元ガウス分布を用いることで、診断推論のロバスト性が向上した。
• 生成されたデータセットを用いた実証的キャリブレーションにより、モデルの予測誤差の正確な推定が可能になった。
• 本システムは、実世界の診断シナリオにおいて実現可能であることが示され、専門家による分析と同等の結果を示した。
• ボトルネック検出における手動チューニングや専門家の干渉に依存する必要が軽減された。
• 実証的手順を通じて、本手法の信頼性と正確性が確認され、パフォーマンス問題の特定に有効であることが裏付けられた。