[논문 리뷰] MOSPAT: AutoML based Model Selection and Parameter Tuning for Time Series Anomaly Detection

Sourav Chatterjee, Rohan Bopardikar외 3명|arXiv (Cornell University)|2022. 05. 24.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

MOSPAT는 지도 학습 기반 모델 및 하이퍼파ram터 선택을 위한 AutoML 프레임워크를 제안하며, 실제 레이블이 없는 상황에서 생성 모델을 사용해 합성된 레이블 데이터를 생성한다. 이는 다양한 합성 및 실세계 데이터셋에서 개별 알고리즘을 일관되게 능가하며, 전문가의 간섭 없이도 뛰어난 F-스코어를 달성한다.

ABSTRACT

Organizations leverage anomaly and changepoint detection algorithms to detect changes in user behavior or service availability and performance. Many off-the-shelf detection algorithms, though effective, cannot readily be used in large organizations where thousands of users monitor millions of use cases and metrics with varied time series characteristics and anomaly patterns. The selection of algorithm and parameters needs to be precise for each use case: manual tuning does not scale, and automated tuning requires ground truth, which is rarely available. In this paper, we explore MOSPAT, an end-to-end automated machine learning based approach for model and parameter selection, combined with a generative model to produce labeled data. Our scalable end-to-end system allows individual users in large organizations to tailor time-series monitoring to their specific use case and data characteristics, without expert knowledge of anomaly detection algorithms or laborious manual labeling. Our extensive experiments on real and synthetic data demonstrate that this method consistently outperforms using any single algorithm.

연구 동기 및 목표

• 대규모 조직 내 다양한 시계열에 대해 전문 지식이나 레이블이 없는 조건에서 이상 탐지 알고리즘과 하이퍼파ram터를 최적화하여 선택하는 문제를 해결하기 위해.
• 개별 사용자가 자신의 데이터 특성에 맞게 효과적인 모니터링을 설정할 수 있도록 확장 가능하고 자동화된 시스템을 개발하기 위해.
• 실세계 시계열에서의 실제 레이블 부족 문제를 해결하기 위해 실제 데이터 분포를 모방하는 합성 레이블이 부여된 이상 데이터를 생성하기 위해.
• AutoML 접근 방식이 다양한 데이터 유형과 이상 패턴에서 개별 최신 이상 탐지 알고리즘을 능가할 수 있음을 입증하기 위해.

제안 방법

• 생성 모델이 레이블이 없는 시계열에 삼중 이상 유형(피크, 수준 이동, 추세 이동)을 주입하여 합성된 레이블이 부여된 학습 데이터를 생성한다.
• 각 시계열을 나타내기 위해 자동상관관계, 첨도, 추세 강도 등의 시계열 특징을 추출하여 모델 입력으로 사용한다.
• 이러한 특징을 바탕으로 이상 탐지 알고리즘과 하이퍼파ram터의 최적 조합을 예측하기 위해 지도 학습 모델을 훈련시킨다.
• 평가 및 선택을 위해 8종의 기본 알고리즘(예: BOCPD, Outlier, Prophet, MKDetector)으로 구성된 셋을 사용한다.
• 인간 활동 인식 및 시스템 모니터링을 포함한 다양한 분야의 실세계 데이터셋과 합성 데이터셋 모두에서 시스템을 평가한다.
• 성능 향상을 위해 AutoML 파이프라인에 하이퍼파라미터 튜닝을 적용하였으며, 향후 확장에서는 베이지안 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 실제 레이블이 없는 조건에서 AutoML 시스템이 시계열에 대해 이상 탐지 알고리즘과 하이퍼파라미터를 효과적으로 추천할 수 있는가?
• RQ2 생성 모델이 실제 시계열과 이상 패턴을 얼마나 잘 모의하여 레이블이 없는 환경에서 지도 학습을 가능하게 할 수 있는가?
• RQ3 AutoML 접근 방식이 다양한 데이터 분포와 이상 유형에서 일관되게 개별 최신 이상 탐지 알고리즘을 능가하는가?
• RQ4 AutoML 시스템의 성능이 합성 데이터, 이상이 주입된 실세계 데이터, 자연적인 이상이 존재하는 실세계 데이터 간에 얼마나 일반화되는가?

주요 결과

• 합성 데이터에서 AutoML 접근 방식은 최적화된 하이퍼파라미터를 사용해 F-스코어 0.498을 달성하였으며, 이는 다음으로 뛰어난 기준(Outlier: 0.287)을 크게 앞서는 성과였다.
• 이상이 주입된 실세계 데이터에서 AutoML는 F-스코어 0.498을 기록하여 BOCPD(0.352)와 MKDetector(0.468)를 능가하며, 복잡한 분포에서도 강건함을 입증했다.
• 자연적인 이상이 존재하는 실세계 데이터에서 AutoML는 무작위 하이퍼파라미터 설정 하에 F-스코어 0.415를 유지하며, 모든 개별 알고리즘을 능가하는 강력한 성능을 보였다.
• 생성 모델은 실제 데이터와 분포가 매우 유사한 합성 데이터를 성공적으로 생성하였으며, 실제 데이터가 없는 영역에서도 이를 잘 반영하여 광범위한 이상 커버리지를 보였다.
• 단일 기반 알고리즘이 모든 데이터 유형에서 일관되게 뛰어나지 않았다—Outlier는 합성 데이터에서 뛰어났고, BOCPD는 주입된 이상이 있는 실세계 데이터에서, MKDetector는 자연적인 이상이 존재하는 실세계 데이터에서 각각 뛰어났다—이를 바탕으로 적응형 선택의 필요성을 강조한다.
• 모든 평가 시나리오에서 AutoML는 모든 개별 알고리즘을 일관되게 뛰어넘었으며, 실세계 비지도 학습 환경에서의 효과성을 입증했다.