[논문 리뷰] Merlion: A Machine Learning Library for Time Series

Aadyot Bhatnagar, Paul Kassianik외 21명|arXiv (Cornell University)|2021. 09. 20.

Time Series Analysis and Forecasting참고 문헌 30인용 수 18

한 줄 요약

Merlion은 시간 시리즈 예측 및 이상 탐지에 적합한 통합적이고 프로덕션 준비된 프레임워크를 제공하는 오픈소스 파이썬 라이브러리입니다. 표준화된 데이터 처리, 자동ML, 모델 앙상블, 실질적인 평가를 위한 라이브 재학습 시뮬레이션 기능을 포함합니다. 다양한 데이터셋에서 뛰어난 성능을 보이며, 제안된 앙상블 모델이 F1 스코어 일관성과 일반화 능력에서 개별 모델을 뛰어넘는 것으로 확인되었습니다.

ABSTRACT

We introduce Merlion, an open-source machine learning library for time series. It features a unified interface for many commonly used models and datasets for anomaly detection and forecasting on both univariate and multivariate time series, along with standard pre/post-processing layers. It has several modules to improve ease-of-use, including visualization, anomaly score calibration to improve interpetability, AutoML for hyperparameter tuning and model selection, and model ensembling. Merlion also provides a unique evaluation framework that simulates the live deployment and re-training of a model in production. This library aims to provide engineers and researchers a one-stop solution to rapidly develop models for their specific time series needs and benchmark them across multiple time series datasets. In this technical report, we highlight Merlion's architecture and major functionalities, and we report benchmark numbers across different baseline models and ensembles.

연구 동기 및 목표

• 산업 워크플로우에서 시간 시리즈 머신러닝을 위한 표준화되고 프로덕션 준비된 도구의 부족을 보완하기 위해.
• 다양한 모델과 데이터셋을 단일하고 확장 가능한 인터페이스로 통합하여 예측 및 이상 탐지 작업을 통합하기 위해.
• 이상 탐지 스코어에 대한 후처리 규칙을 통해 모델의 해석 가능성 향상과 오진률 감소를 위해.
• 자동 하이퍼파rameter 튜닝 및 모델 선택을 위한 AutoML 모듈을 통해 자동화를 실현하기 위해.
• 실제 프로덕션 환경에서의 배포 및 재학습을 시뮬레이션하는 현실적인 평가 프레임워크를 제공하기 위해.

제안 방법

• 단변량 및 다변량 시계열에서 모두 적용 가능한 통합 API를 구현하여 데이터 로딩, 전처리, 학습, 평가를 통합적으로 처리하기 위해.
• 통계적 방법(이sovlation Forest, Random Cut Forest), 딥러닝(LSTM 오토에인코드어, VAE, DAGMM), 고전적 접근(Prophet, pmdarima)을 포함한 다양한 모델 세트를 통합하기 위해.
• 임계치 캘리브레이션 및 스무딩과 같은 후처리 규칙을 적용하여 이상 탐지 스코어의 해석 가능성 향상과 오진률 감소를 위해.
• 다양한 모델의 출력을 앙상블 학습을 통해 통합(예: RCF + VAE)하여 성능의 안정성과 일반화 능력을 향상시키기 위해.
• 주기적으로(예: 매주) 모델을 재학습하고 윈도우 기반으로 성능을 평가하는 방식으로 실제 배포 환경을 시뮬레이션하기 위해.
• 예측 결과 및 이상 탐지 스코어의 시각화를 지원하여 정성적 분석 및 디버깅을 보조하기 위해.

실험 결과

연구 질문

• RQ1 통합적이고 확장 가능한 프레임워크는 다양한 데이터셋에서 시간 시리즈 모델의 개발 및 벤치마킹을 어떻게 향상시킬 수 있는가?
• RQ2 자동ML은 다양한 예측 및 이상 탐지 작업에서 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ3 후처리 규칙은 오진률을 상당히 감소시킬 수 있는가, 동시에 이상 탐지 F1 스코어는 유지 또는 향상시키는가?
• RQ4 앙상블 학습은 여러 시간 시리즈 데이터셋에서 일관되고 강력한 성능을 달성하는 데 얼마나 효과적인가?
• RQ5 시뮬레이션된 프로덕션 파이프라인에서 주기적인 재학습은 모델의 일반화 능력과 안정성 향상에 실제로 기여하는가?

주요 결과

• Merlion 앙상블 모델은 각 데이터셋에서 최고 성능을 보인 모델 대비 평균 F1 스코어 격차가 가장 낮은 0.051 ± 0.038를 기록하여 일관성 면에서 개별 모델을 뛰어넘었습니다.
• LSTM 인코더-디코더 모델은 MSL 데이터셋에서 가장 높은 F1 스코어(0.381)를 기록했고, Random Cut Forest는 SMD 데이터셋에서 가장 높은 성능(0.500)을 보이며 데이터셋에 따라 모델의 우월성이 뚜렷하게 나타났습니다.
• 모델을 매주 재학습하는 것은 대부분의 모델에 대해 F1 성능에 통계적으로 유의미한 영향을 미치지 않았습니다(p > 0.05), 다만 DAGMM만 유의미한 영향을 보였습니다(p = 0.032), 이는 이 설정에서는 빈번한 재학습이 제한된 이점을 제공한다는 것을 시사합니다.
• AutoML 모듈은 다양한 예측 모델에서 일관되게 성능 향상을 이끌어내어 하이퍼파rameter 최적화에서의 가치를 입증했습니다.
• 후처리 규칙은 해석 가능성 향상과 오진률 감소에 상당한 기여를 하여 실무 환경에서의 실용성 향상에 기여했습니다.
• Merlion의 평가 파이프라인은 실제 프로덕션 배포를 성공적으로 시뮬레이션하여 다양한 데이터셋과 모델 구성에서 신뢰할 수 있는 벤치마킹을 가능하게 했습니다.