[논문 리뷰] Anomaly Detection on Seasonal Metrics via Robust Time Series Decomposition

Tianwei Li, Yitong Geng외 1명|arXiv (Cornell University)|2020. 08. 21.

Anomaly Detection Techniques and Applications참고 문헌 15인용 수 5

한 줄 요약

이 논문은 MEDIFF를 제안하며, 중앙값 기반 분해를 통해 추세, 계절성(일광 절약 시간제 및 휴일 영향 포함), 잔차를 분리하여 계절적인 온라인 비즈니스 지표에 대한 강력한 시계열 이상 탐지 방법을 제공한다. 잔차는 일반화된 ESD를 통해 이상치로 검출된다. MEDIFF는 eBay의 레이블링된 프로덕션 데이터에서 SH-ESD와 DONUT보다 재현율과 정밀도가 높으며, 일광 절약 시간제 및 휴일 기간 동안 특히 뛰어난 성능을 보인다. 이는 이전 이상치에 대한 강건성과 효과적인 계절 보정 덕분이다.

ABSTRACT

The stability and persistence of web services are important to Internet companies to improve user experience and business performances. To keep eyes on numerous metrics and report abnormal situations, time series anomaly detection methods are developed and applied by various departments in companies and institutions. In this paper, we proposed a robust anomaly detection algorithm (MEDIFF) to monitor online business metrics in real time. Specifically, a decomposition method using robust statistical metric--median--of the time series was applied to decouple the trend and seasonal components. With the effects of daylight saving time (DST) shift and holidays, corresponding components were decomposed from the time series. The residual after decomposition was tested by a generalized statistics method to detect outliers in the time series. We compared the proposed MEDIFF algorithm with two open source algorithms (SH-ESD and DONUT) by using our labeled internal business metrics. The results demonstrated the effectiveness of the proposed MEDIFF algorithm.

연구 동기 및 목표

• 산업 환경에서 고속도, 계절성 패턴을 가진 비즈니스 지표에 대해 빠르고 강력하며 실시간 이상 탐지 방법을 개발하는 것.
• 일광 절약 시간제(DST) 이동과 휴일로 인해 표준 계절 패턴이 왜곡되는 지표에서 이상 탐지를 해결하는 것.
• 프로덕션 모니터링에서 흔히 발생하는 이전 이상치, 누락 값, 데이터 오류에 대해 탐지의 강건성을 확보하는 것.
• 1분 간격 샘플링 지표의 실시간 모니터링에 적합한 저지연 탐지(샘플링 주기의 20% 이내)를 달성하는 것.
• 특히 일광 절약 시간제 및 휴일 기간 동안, 내부 레이블링된 지표에서 오픈소스 기준(MEDIFF, SH-ESD, DONUT)과의 성능 평가를 수행하는 것.

제안 방법

• MEDIFF는 이동 중앙값 스무딩 기법을 사용하여 시계열을 추세, 계절성, 잔차 성분으로 분해한다.
• 계절성 성분은 주간 대비 중앙값을 기반으로 모델링되며, 일광 절약 시간제 및 휴일 영향을 반영하기 위해 추가 가중치가 적용된다.
• 최적화된 가중치(γ=1, β=0.4) 하에 주간 대비 중앙값과 추세 성분을 조합하여 하이브리드 계절성 성분을 구성한다.
• 잔차는 원본 시계열에서 분해된 추세, 일광 절약 시간제 계절성, 휴일 영향 성분을 빼내어 계산된다.
• 잔차 내 이상치는 일반화된 극단적 표준화된 이격도(ESD) 테스트를 통해 탐지되며, m≈600개의 의심 이상치와 α=0.05를 사용한다.
• 이 방법은 4주 간격의 윈도우에서 배치 처리 방식으로 적용되며, 일광 절약 시간제 및 휴일 보정을 위한 파라미터가 최적화된다.

실험 결과

연구 질문

• RQ1 강력한 중앙값 기반 분해 방법이 강한 계절 패턴을 가진 1분 간격 샘플링 비즈니스 지표에서 추세와 계절성을 효과적으로 분리할 수 있는가?
• RQ2 일광 절약 시간제 및 휴일 영향 보정을 포함함으로써, 주기 이동 및 특수 이벤트 기간 동안 이상 탐지 성능이 어떻게 향상되는가?
• RQ3 MEDIFF가 기존 오픈소스 방법(SH-ESD, DONUT)보다 진정한 이상을 더 잘 탐지하면서도 가짜 경고를 최소화할 수 있는가, 특히 복잡한 계절 환경에서?
• RQ4 강력한 통계(중앙값)의 사용이 이전 이상치와 데이터 오류에 대한 탐지 강건성을 얼마나 향상시키는가?
• RQ5 잔차에 대한 일반화된 ESD 테스트가 저지연으로 실시간 이상 탐지에서 높은 정밀도와 재현율을 달성할 수 있는가?

주요 결과

• MEDIFF는 그룹 A와 B 지표에서 모두 SH-ESD보다 높은 재현율을 기록하여, 강력한 분해로 인한 더 깔끔한 잔차 덕분에 진짜 이상을 더 잘 탐지함을 시사한다.
• MEDIFF의 계절성 성분에서 γ=1과 β=0.4를 사용함으로써 일광 절약 시간제 및 휴일 기간 동안 탐지 성능이 크게 향상되었으며, 잔차 왜곡이 감소했다.
• 일광 절약 시간제/휴일 보정 후 MEDIFF는 정밀도와 재현율이 모두 향상되었으며, 더 명확한 잔차 덕분에 ESD 이상치 탐지가 더욱 정확해졌다.
• SH-ESD는 STL 분해의 한계로 인해 일광 절약 시간제 및 휴일 기간 동안 성능이 저하되었으며, 특히 계절 패턴 이동 시에 심해졌다.
• DONUT은 MEDIFF(γ=0, β=1)와 SH-ESD보다 전체적으로 높은 F1 점수를 기록했지만, 여전히 일광 절약 시간제/휴일 기간 동안 예상치 못한 이상을 보고하여 정밀도가 떨어졌다.
• 제안된 MEDIFF 방법은 복잡한 시간적 영향을 가진 산업 규모의 계절적 비즈니스 지표에 대해 실시간 이상 탐지에서 뛰어난 강건성과 정확도를 입증했다.