[논문 리뷰] Predicting SLA Violations in Real Time using Online Machine Learning

Jawwad Ahmed, Andreas Johnsson외 4명|arXiv (Cornell University)|2015. 09. 04.

Data Stream Mining Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 서버 측에서 수확한 스트리밍 장치 수준 메트릭을 사용하여 실시간으로 SLA 위반을 예측하는 서비스에 관계없는 온라인 기계학습 접근법을 제안한다. 동적 부하 조건 하에서 비디오 온디맨드 서비스의 SLA 위반을 예측할 때 90퍼센트 이상의 분류 정확도와 10퍼센트 이하의 오진 경고율을 달성하며, 전통적인 오프라인 학습 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Detecting faults and SLA violations in a timely manner is critical for telecom providers, in order to avoid loss in business, revenue and reputation. At the same time predicting SLA violations for user services in telecom environments is difficult, due to time-varying user demands and infrastructure load conditions. In this paper, we propose a service-agnostic online learning approach, whereby the behavior of the system is learned on the fly, in order to predict client-side SLA violations. The approach uses device-level metrics, which are collected in a streaming fashion on the server side. Our results show that the approach can produce highly accurate predictions (>90% classification accuracy and < 10% false alarm rate) in scenarios where SLA violations are predicted for a video-on-demand service under changing load patterns. The paper also highlight the limitations of traditional offline learning methods, which perform significantly worse in many of the considered scenarios.

연구 동기 및 목표

• 변동하는 사용자 수요와 인프라 부하 조건이 있는 통신 환경에서 SLA 위반을 적시에 탐지하는 데 도전하는 것.
• 사전 오프라인 훈련 없이 실시간으로 시스템 동작을 학습하는 서비스에 관계없는 방법을 개발하는 것.
• 기존의 오프라인 학습 접근법에 비해 정확도를 향상시키고 오진 경고율을 줄이는 것.
• 서비스 품질과 기업 명성 유지에 기여하는 실시간 사전 장애 탐지 기능을 제공하는 것.

제안 방법

• 시스템은 서버에서 수집한 실시간 스트리밍 장치 수준 메트릭(예: CPU, 메모리, 네트워크 I/O)을 사용한다.
• 온라인 학습 알고리즘이 새로운 데이터가 도착함에 따라 지속적으로 모델을 업데이트하여 변화하는 시스템 조건에 적응한다.
• 이 접근법은 서비스에 관계없는 것으로, 응용 프로그램 유형에 대한 사전 지식이나 서비스 특화 기능 엔지니어링이 필요하지 않다.
• 분류 작업은 들어오는 데이터에 대해 점진적으로 훈련된 모델을 사용하여 실시간으로 SLA 위반을 예측한다.
• 모델을 다시 훈련하는 것을 피하고 스트리밍 방식으로 데이터를 처리함으로써 저지연을 유지한다.

실험 결과

연구 질문

• RQ1 다양한 부하 패턴 하에서 온라인 기계학습이 실시간으로 SLA 위반을 효과적으로 예측할 수 있는가?
• RQ2 동적 통신 환경에서 온라인 학습은 정확도와 오진 경고율 측면에서 오프라인 학습에 비해 어떻게 비교되는가?
• RQ3 서비스 특화 설정 없이도 서비스에 관계없는 접근법이 다양한 워크로드에 얼마나 잘 일반화되는가?
• RQ4 장치 수준 메트릭만으로도 고정확도와 저지연으로 실시간 예측을 달성할 수 있는가?

주요 결과

• 제안된 온라인 학습 접근법은 동적 부하 조건 하에서 비디오 온디맨드 서비스의 SLA 위반 예측에 90퍼센트 이상의 분류 정확도를 달성한다.
• 이 방법은 실제 위반을 식별하는 데 높은 신뢰성을 보이며, 오진 경고율을 10퍼센트 이하로 유지한다.
• 기존의 오프라인 학습 방법은 같은 시나리오에서 상당히 열등한 성능을 보였으며, 특히 변화하는 워크로드 하에서 그러한 경향이 뚜렷했다.
• 지속적인 모델 업데이트를 통해 시간에 따라 변하는 사용자 수요와 인프라 부하 패턴에 대해 뛰어난 적응성을 보였다.