[논문 리뷰] Gaussian process regression as a predictive model for Quality-of-Service in Web service systems

Jakub M. Tomczak, Jerzy Świątek외 1명|arXiv (Cornell University)|2012. 07. 30.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 3

한 줄 요약

이 논문은 웹 서비스 시스템에서 지연 시간과 같은 서비스 품질(QoS) 속성에 대한 확률적 예측 모델로 선형 커널을 사용한 가우시안 프로세스 회귀(GPR)를 제안한다. 비모수 베이지안 방법을 사용하여 입력 요청 스트림과 QoS 결과 간의 관계를 모델링하며, CART에 비해 통계적으로 유의미한 예측 정확도 향상을 입증하였다. MAE의 경우 p-value가 1.84×10⁻⁵이고, MSE의 경우 p-value가 0.018이다.

ABSTRACT

In this paper, we present the Gaussian process regression as the predictive model for Quality-of-Service (QoS) attributes in Web service systems. The goal is to predict performance of the execution system expressed as QoS attributes given existing execution system, service repository, and inputs, e.g., streams of requests. In order to evaluate the performance of Gaussian process regression the simulation environment was developed. Two quality indexes were used, namely, Mean Absolute Error and Mean Squared Error. The results obtained within the experiment show that the Gaussian process performed the best with linear kernel and statistically significantly better comparing to Classification and Regression Trees (CART) method.

연구 동기 및 목표

• 웹 서비스 시스템에서 이론적 성능 예측 모델과 실용적 응용 사이의 격차를 해소하기 위해.
• 입력 요청 스트림과 시스템 구성 정보를 기반으로 QoS 속성(지연 시간 등)에 대한 예측 모델을 개발하기 위해.
• 통제된 시뮬레이션 환경에서 가우시안 프로세스 회귀가 전통적 방법(예: CART)에 비해 어떤 성능을 보이는지 평가하기 위해.
• 내부 노이즈와 알려지지 않은 과정으로 인한 시스템 행동의 불확실성을 반영하는 확률적 비모수 프레임워크를 제공하기 위해.
• 정확한 QoS 예측을 통해 동적 자원 할당 및 서비스 선택과 같은 최적화 작업을 지원하기 위해.

제안 방법

• 가우시안 프로세스 사전분포를 가진 함수 f를 사용하여 QoS 예측 문제를 비모수 회귀 문제로 공식화하며, 평균이 0이고 커널 함수 k(x, x’)인 가우시안 프로세스 사전분포를 사용한다.
• 관측된 QoS 출력 y를 y = f(x) + ε로 모델링하며, ε은 정밀도 β⁻¹인 평균이 0인 가우시안 노이즈이다.
• 학습 데이터로부터 커널 함수의 초모수와 노이즈 분산을 학습하기 위해 타입 2 최대우도 추정을 사용한다.
• 세 가지 커널 함수를 사용한다: 선형, 제곱 지수, 선형 및 제곱 지수 성분을 조합한 복합 커널.
• 포아송 과정과 로그정규분포를 따르는 요청 크기를 사용하여 다수의 수요 클래스를 가진 합성 웹 트래픽을 생성하기 위한 맞춤형 시뮬레이션 환경을 개발한다.
• 각 수요 클래스당 시간 단위당 고정된 실행 속도를 가진 라운드 로빈 스케줄러를 구현하여 수요의 실행을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 입력 요청 스트림이 주어졌을 때, 가우시안 프로세스 회귀는 웹 서비스 시스템에서 지연 시간과 같은 QoS 속성을 효과적으로 예측할 수 있는가?
• RQ2 QoS 속성 예측 정확도 측면에서 가우시안 프로세스 회귀는 CART에 비해 어떤 성능을 보이는가?
• RQ3 선형, 제곱 지수, 또는 복합 커널 중 어떤 커널 함수가 웹 서비스 QoS 모델링 맥락에서 최고의 예측 성능을 낼 수 있는가?
• RQ4 가우시안 프로세스 회귀가 CART에 비해 향상된 성능을 보이는가를 통계적으로 검증할 수 있는가?
• RQ5 제안된 시뮬레이션 환경은 실세계 웹 서비스 행동을 신뢰할 수 있는 성능 평가를 위해 정확하게 모델링할 수 있는가?

주요 결과

• 선형 커널을 사용한 가우시안 프로세스 회귀는 모든 테스트 모델 중에서 가장 낮은 평균 절대 오차(MAE)와 평균 제곱 오차(MSE)를 기록하였다.
• 선형 커널은 제곱 지수 커널과 복합 커널 모두를 능가하여 입력 유사성의 모델링에 더 우수한 성능를 보였다.
• 복합 커널은 선형 및 제곱 지수 성분의 합으로 구성되어 있어, 단독으로 사용된 제곱 지수 커널보다 略적으로 더 우수한 성능를 보였다.
• 두 표본 t-검정을 통해 GPR(선형 커널)와 CART 간의 MAE 차이가 통계적으로 유의미하다는 것이 입증되었으며, p-value는 1.84×10⁻⁵였다.
• MSE의 경우에도 GPR(선형 커널)와 CART 간의 차이가 5% 유의수준에서 통계적으로 유의미했으며, p-value는 0.018였다.
• 시뮬레이션 환경는 현실적인 웹 트래픽 패턴을 성공적으로 생성하였고, 통제된 조건 하에서 예측 모델의 신뢰성 있는 평가를 가능케 하였다.