[논문 리뷰] Automated Model Selection for Time-Series Anomaly Detection

Yuanxiang Ying, Juanyong Duan외 4명|arXiv (Cornell University)|2020. 08. 25.

Anomaly Detection Techniques and Applications참고 문헌 17인용 수 5

한 줄 요약

이 논문은 입력 시계열 특성에 기반해 동적으로 가장 적합한 비지도 이상 탐지 모델과 최적의 하이퍼파ram터를 선택하는 자동 모델 선택 프레임워크를 제안한다. 이 시스템은 특성 추출 파이프라인, 모델 선택기, 하이퍼파ram터 추정기로 구성되어 다양한 시계열 패턴에서 탐지 정확도를 향상시키며, 실세계 적용 사례에서는 가짜 경고 수가 크게 감소하고 민감도 조정을 통해 맞춤형 설정이 가능해졌다.

ABSTRACT

Time-series anomaly detection is a popular topic in both academia and industrial fields. Many companies need to monitor thousands of temporal signals for their applications and services and require instant feedback and alerts for potential incidents in time. The task is challenging because of the complex characteristics of time-series, which are messy, stochastic, and often without proper labels. This prohibits training supervised models because of lack of labels and a single model hardly fits different time series. In this paper, we propose a solution to address these issues. We present an automated model selection framework to automatically find the most suitable detection model with proper parameters for the incoming data. The model selection layer is extensible as it can be updated without too much effort when a new detector is available to the service. Finally, we incorporate a customized tuning algorithm to flexibly filter anomalies to meet customers' criteria. Experiments on real-world datasets show the effectiveness of our solution.

연구 동기 및 목표

• 산업 환경에서 다양하고 레이블이 없으며 비 stationary한 시계열에 대해 적절한 이상 탐지 모델을 선택하는 문제를 해결하기 위해.
• 수동적인 모델 튜닝과 레이블 데이터 의존도를 줄이기 위해 모델 및 하이퍼파ram터 선택을 자동화하기 위해.
• 사업 목적에 맞는 민감도 기준에 부합하는 맞춤형 이상 탐지 기능을 제공하기 위해.
• 재학습이나 감독 없이 이질적인 시계열 패턴 전반에서 탐지 성능을 향상시키기 위해.
• 다양한 감지기들을 통합하고 실시간으로 수백만 개의 신호를 모니터링할 수 있는 확장성 있고 유연한 시스템을 구축하기 위해.

제안 방법

• 시스템은 입력 시계열에서 82차원의 특성 표현을 추출하기 위해 일련의 변환(예: 스펙트럴 잔여치, FFT, 계절성 제거)을 적용한다.
• 모델 선택기 컴пон넌트는 이러한 특징을 사용해 비지도 감지기 집합(예: HBOS, SR, S-H-ESD) 중 가장 적합한 이상 탐지 모델을 자동으로 선택한다.
• 각 선택된 모델은 시계열 특성에 기반해 최적의 하이퍼파ram터(예: 임계값)를 계산하는 전용 하이퍼파ram터 추정기와 짝을 이룬다.
• 파이프라인은 반복적인 앙상블 방법을 피하기 위해 단일 통과 추론을 지원하며, 성능이 열악한 감지기의 영향을 최소화한다.
• 사용자 정의 민감도 수준에 맞게 이상 경계를 조정할 수 있는 맞춤형 튜닝 레이어가 탐지 결과의 일관성을 향상시킨다.
• 프레임워크는 새로운 감지기를 재학습 없이도 통합할 수 있도록 확장 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터에서 시계열에 대해 최적의 이상 탐지 모델을 자동으로 선택할 수 있는 방법은 무엇인가?
• RQ2 모델 선택을 안내하기 위해 효과적으로 시계열 특성을 표현할 수 있는 특징 집합은 무엇인가?
• RQ3 데이터 특징에 기반해 선택된 각 모델에 대해 하이퍼파라미터 추정기가 신뢰성 있게 최적의 하이퍼파라미터를 계산할 수 있는가?
• RQ4 어떻게 하면 이상 탐지 결과를 다양한 사업적 민감도 요구사항에 맞게 맞춤화할 수 있는가?
• RQ5 수동 조작 없이 다양한 시계열 패턴에서 가짜 경고를 줄일 수 있는가?

주요 결과

• 자동 모델 선택 프레임워크는 기존 모델(S-H-ESD)이 노이즈에 민감하고 이상 비율이 높아 실패한 실세계 사례에서 가짜 경고를 크게 감소시켰다.
• 이상 비율이 0.18이고 노이즈가 많은 원형 패턴을 가진 시계열의 경우, 시스템은 임계값 0.923을 가진 HBOS를 선택하여 S-H-ESD를 능가하는 성능을 보였다.
• 15% 이상 비율의 계절성 신호에 대해 시스템은 임계값 4.894를 가진 스펙트럴 잔여치(SR)를 선택하여 탐지 일관성을 향상시켰다.
• 맞춤형 튜닝 레이어 덕분에 다양한 값의 척도에서 일관된 민감도를 확보하여 사용자들이 보고한 경계 불일치 문제를 해결했다.
• 이 시스템은 마이크로소프트에서 200개 이상의 제품 팀에 성공적으로 도입되어 400만 개 이상의 시계열을 실시간으로 모니터링하며 확장 가능한 성능을 보였다.
• 반복적인 앙상블 방법과 달리, 각 시계열에 대해 하나의 선택된 모델만 사용함으로써 약한 감지기의 영향을 피하는 위험을 줄였다.