[论文解读] Automating Computer Bottleneck Detection with Belief Nets

John S. Breese, Russ Blake|arXiv (Cornell University)|Feb 20, 2013

Software System Performance and Reliability参考文献 19被引用 14

一句话总结

本文提出了一种基于信念网络的系统，用于在Windows NT环境中自动化检测计算机性能瓶颈，通过建模工作负载-系统交互关系，并利用观察到的性能监视器数据推断可能的工作负载参数。通过使用正态分布表示不确定性并应用贝叶斯推断，该方法实现了具有校准误差模型的精确瓶颈诊断，在实际诊断场景中展示了可行性。

ABSTRACT

We describe an application of belief networks to the diagnosis of bottlenecks in computer systems. The technique relies on a high-level functional model of the interaction between application workloads, the Windows NT operating system, and system hardware. Given a workload description, the model predicts the values of observable system counters available from the Windows NT performance monitoring tool. Uncertainty in workloads, predictions, and counter values are characterized with Gaussian distributions. During diagnostic inference, we use observed performance monitor values to find the most probable assignment to the workload parameters. In this paper we provide some background on automated bottleneck detection, describe the structure of the system model, and discuss empirical procedures for model calibration and verification. Part of the calibration process includes generating a dataset to estimate a multivariate Gaussian error model. Initial results in diagnosing bottlenecks are presented.

研究动机与目标

• 通过概率建模自动化检测计算机系统中的性能瓶颈。
• 在Windows NT环境中开发工作负载、操作系统与硬件交互的高层功能模型。
• 使用正态分布表示工作负载、预测结果与系统计数器中的不确定性。
• 利用实测数据和多变量正态误差估计对信念网络进行校准。
• 通过实证测试与模型验证，评估系统的诊断准确性。

提出的方法

• 系统使用信念网络（贝叶斯网络）对应用程序工作负载、Windows NT操作系统与系统硬件组件之间的依赖关系进行建模。
• 性能监视器计数器被视为可观测变量，其值基于工作负载参数与系统配置进行预测。
• 使用多变量正态分布量化工作负载输入、模型预测与观测计数器值中的不确定性。
• 通过最大后验概率（MAP）估计，计算在给定观测到的性能监视器读数下，工作负载参数的最可能赋值，实现诊断推断。
• 模型校准通过生成数据集以估计预测不确定性的多变量正态误差模型来完成。
• 系统通过在真实世界性能数据上的实证测试进行验证，结果根据诊断准确性进行评估。

实验结果

研究问题

• RQ1 信念网络能否有效建模工作负载、操作系统与硬件之间的复杂交互关系，以检测性能瓶颈？
• RQ2 该系统从观测到的性能监视器数据中，能否准确推断出未知的工作负载参数？
• RQ3 使用正态分布对不确定性进行建模在多大程度上提升了诊断的可靠性？
• RQ4 能否利用实测性能数据对系统进行校准与验证？
• RQ5 与人工分析相比，信念网络方法的诊断准确率如何？

主要发现

• 信念网络通过从观测到的性能监视器值中推断最可能的工作负载参数，成功诊断出性能瓶颈。
• 使用多变量正态分布对不确定性进行建模，提升了诊断推断的鲁棒性。
• 通过生成数据集进行实证校准，实现了对模型预测误差的准确估计。
• 系统在真实世界诊断场景中表现出可行性，其结果与专家分析结果相当。
• 该方法减少了对人工调优与专家干预在瓶颈检测中的依赖。
• 该方法通过实证程序得到验证，证实其在识别性能问题方面的可靠性与准确性。