[논문 리뷰] Automating Computer Bottleneck Detection with Belief Nets

John S. Breese, Russ Blake|arXiv (Cornell University)|2013. 02. 20.

Software System Performance and Reliability참고 문헌 19인용 수 14

한 줄 요약

이 논문은 성능 모니터 데이터를 관측하여 작업하중 매개변수를 추론함으로써 윈도우 NT 환경에서 컴퓨터 버스티 네트워크 기반의 자동화된 성능 병목 진단 시스템을 제안한다. 작업하중-시스템 상호작용을 모델링하고, 불확실성을 정규 분포로 표현하며 베이지안 추론을 적용함으로써, 교정된 오차 모델을 갖춘 정확한 병목 진단을 달성한다. 이는 실제 진단 시나리오에서의 타당성을 입증한다.

ABSTRACT

We describe an application of belief networks to the diagnosis of bottlenecks in computer systems. The technique relies on a high-level functional model of the interaction between application workloads, the Windows NT operating system, and system hardware. Given a workload description, the model predicts the values of observable system counters available from the Windows NT performance monitoring tool. Uncertainty in workloads, predictions, and counter values are characterized with Gaussian distributions. During diagnostic inference, we use observed performance monitor values to find the most probable assignment to the workload parameters. In this paper we provide some background on automated bottleneck detection, describe the structure of the system model, and discuss empirical procedures for model calibration and verification. Part of the calibration process includes generating a dataset to estimate a multivariate Gaussian error model. Initial results in diagnosing bottlenecks are presented.

연구 동기 및 목표

• 확률적 모델링을 사용하여 컴퓨터 시스템의 성능 병목을 자동으로 진단하는 것.
• 윈도우 NT 환경에서 작업하중, 운영체제, 하드웨어 상호작용의 고수준 기능 모델을 개발하는 것.
• 작업하중, 예측, 시스템 카운터의 불확실성을 정규 분포로 표현하는 것.
• 실제 데이터와 다변량 정규 분포 오차 추정을 사용하여 신뢰망을 교정하는 것.
• 실제 테스트 및 모델 검증을 통한 시스템의 진단 정확도를 검증하는 것.

제안 방법

• 시스템은 응용 프로그램 작업하중, 윈도우 NT 운영체제, 시스템 하드웨어 구성 요소 간의 의존 관계를 모델링하기 위해 신뢰망(Bayesian network)을 사용한다.
• 성능 모니터 카운터는 관측 가능한 변수로 간주되며, 그 값은 작업하중 매개변수와 시스템 설정에 기반해 예측된다.
• 작업하중 입력, 모델 예측, 관측된 카운터 값의 불확실성은 다변량 정규 분포를 사용하여 정량화된다.
• 병목 진단 추론은 관측된 성능 모니터링 읽기 기반으로 가장 가능성이 높은 작업하중 매개변수 조합을 최대 사후 확률(MAP) 추정을 통해 계산한다.
• 모델 교정은 예측 불확실성에 대한 다변량 정규 분포 오차 모델을 추정하기 위해 데이터셋을 생성하는 것으로 이루어진다.
• 시스템은 실제 성능 데이터를 대상으로 한 실증적 테스트를 통해 검증되며, 진단 정확도가 평가된다.

실험 결과

연구 질문

• RQ1 신뢰망이 병목 진단을 위해 작업하중, 운영체제, 하드웨어 간의 복잡한 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 관측된 성능 모니터링 데이터로부터 알려지지 않은 작업하중 매개변수를 얼마나 정확하게 추론할 수 있는가?
• RQ3 정규 분포로 불확실성을 모델링할 경우 진단 신뢰성은 어느 정도 향상되는가?
• RQ4 실제 성능 데이터를 사용하여 시스템을 교정하고 검증할 수 있는가?
• RQ5 수동 분석과 비교했을 때, 신뢰망 접근 방식의 진단 정확도는 어떠한가?

주요 결과

• 신뢰망은 관측된 성능 모니터링 값 기반으로 가장 가능성이 높은 작업하중 매개변수를 추론함으로써 병목을 성공적으로 진단했다.
• 다변량 정규 분포를 사용한 불확실성 모델링이 진단 추론의 강건성을 향상시켰다.
• 생성된 데이터셋을 활용한 실증적 교정을 통해 모델의 예측 오차를 정확하게 추정할 수 있었다.
• 시스템은 실제 진단 시나리오에서 타당성을 입증했으며, 전문가 분석과 비교해 유사한 결과를 보였다.
• 병목 진단에서 수동 캘리브레이션과 전문가 개입에 대한 의존도가 감소했다.
• 실증적 절차를 통해 방법의 신뢰성과 정확성이 확인되었으며, 성능 문제 식별에 효과적임을 입증했다.