[논문 리뷰] Automatic Anomaly Detection in the Cloud Via Statistical Learning

Jordan Hochenbaum, Owen Vallis외 1명|arXiv (Cornell University)|2017. 04. 24.

Anomaly Detection Techniques and Applications참고 문헌 65인용 수 132

한 줄 요약

이 논문은 계절성 제거와 강건한 통계를 사용하여 클라우드 지표의 이상치를 자동으로 식별하기 위해 S-ESD와 S-H-ESD의 두 가지 계절성 이상감지 방법을 도입한다.

ABSTRACT

Performance and high availability have become increasingly important drivers, amongst other drivers, for user retention in the context of web services such as social networks, and web search. Exogenic and/or endogenic factors often give rise to anomalies, making it very challenging to maintain high availability, while also delivering high performance. Given that service-oriented architectures (SOA) typically have a large number of services, with each service having a large set of metrics, automatic detection of anomalies is non-trivial. Although there exists a large body of prior research in anomaly detection, existing techniques are not applicable in the context of social network data, owing to the inherent seasonal and trend components in the time series data. To this end, we developed two novel statistical techniques for automatically detecting anomalies in cloud infrastructure data. Specifically, the techniques employ statistical learning to detect anomalies in both application, and system metrics. Seasonal decomposition is employed to filter the trend and seasonal components of the time series, followed by the use of robust statistical metrics -- median and median absolute deviation (MAD) -- to accurately detect anomalies, even in the presence of seasonal spikes. We demonstrate the efficacy of the proposed techniques from three different perspectives, viz., capacity planning, user behavior, and supervised learning. In particular, we used production data for evaluation, and we report Precision, Recall, and F-measure in each case.

연구 동기 및 목표

• 계절성 및 다모드 시계열이 있는 클라우드/서비스 지향 아키텍처에서 자동 이상 탐지 필요성의 동기를 부여한다.
• 계절성/추세 구성요소를 분리하고 이상 탐지를 위한 강건한 통계 적용 방법을 개발한다.
• 생산 데이터에서 용량 계획, 사용자 행동, 감독 학습 시나리오에 걸쳐 제안 기법을 평가한다.
• 높은 이상 비율에 대한 강인성을 평가하고 생산 배치를 위한 지침을 제공한다.

제안 방법

• Loess로 수정된 STL과 시계열 분해를 적용하여 계절성, 추세, 잔차 구성요소를 얻는다.
• 잔차 구성요소에 ESD를 적용하여 이상치를 탐지한다(S-ESD).
• 평균/표준편차를 강건한 통계인 중앙값과 MAD로 대체하여 이상치의 발생 비율이 높을 때 더 robust한 Seasonal Hybrid ESD(S-H-ESD)를 도입한다.
• 잔차의 거짓 양성 문제를 완화하기 위해 시계열 중앙값을 안정된 추세 표현으로 사용하여 STL을 확장한다.
• 점진적 배치 방법을 제공하고 다양한 이상 비율에서 S-ESD와 S-H-ESD를 비교한다.

실험 결과

연구 질문

• RQ1 클라우드 시계열에서 계절성과 다모드가 이상 탐지에 대해 어떻게 효과적으로 처리될 수 있는가?
• RQ2 데이터의 큰 비율이 이상일 때 중앙값과 MAD와 같은 강건한 통계가 이상 탐지를 개선하는가?
• RQ3 생산 환경에서 용량 계획, 사용자 행동 변화, 감독된 이상 주입에 대해 S-ESD와 S-H-ESD의 상대적 성능은 얼마나 되는가?
• RQ4 실시간 클라우드 모니터링 환경에 이러한 방법을 배치하기 위한 실용적 고려사항은 무엇인가?

주요 결과

• 계절 구성요소를 제거한 후 S-ESD는 글로벌 이상과 로컬 이상을 모두 탐지할 수 있다.
• 중앙값과 MAD를 사용하는 S-H-ESD는 데이터의 높은 비율이 이상일 때 더 강건하다.
• 제안된 방법은 시스템 지표와 핵심 드라이버에 대해 생산 데이터에서 평가되었으며 다각도에서 정밀도(Precision), 재현율(Recall), F-측정(F-measure)을 보고했다.
• 생산 배치에서 모니터링 지표의 이상 탐지에 대해 α=0.05인 S-H-ESD가 선택되었다.
• 이상 탐지는 용량 계획, 사용자 행동 변화 분석, 주입된 이상이 있는 감독 학습 실험을 뒷받침하는 것으로 시연되었다.