[논문 리뷰] An Automated Machine Learning Approach for Detecting Anomalous Peak Patterns in Time Series Data from a Research Watershed in the Northeastern United States Critical Zone

Ijaz Ul Haq, Byung Suk Lee외 2명|arXiv (Cornell University)|2023. 09. 14.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 합성 데이터 생성과 하이퍼파rameter 최적화를 활용하여 수문학적 시계열에서 비정상적인 피크 패턴을 자동으로 탐지하는 자동화된 기계학습 프레임워크를 제안한다. TimeGAN을 활용해 데이터를 합성하고, 다섯 가지 딥러닝 모델(TCN, InceptionTime, MiniRocket, ResNet, LSTM) 중에서 정확도와 계산 비용 간의 사용자 정의된 트레이드오프를 고려해 최고 성능을 보이는 모델을 선택함으로써, 실제 수문학적 유역 데이터에서 일관된 모델 선택이 가능함을 입증한다.

ABSTRACT

This paper presents an automated machine learning framework designed to assist hydrologists in detecting anomalies in time series data generated by sensors in a research watershed in the northeastern United States critical zone. The framework specifically focuses on identifying peak-pattern anomalies, which may arise from sensor malfunctions or natural phenomena. However, the use of classification methods for anomaly detection poses challenges, such as the requirement for labeled data as ground truth and the selection of the most suitable deep learning model for the given task and dataset. To address these challenges, our framework generates labeled datasets by injecting synthetic peak patterns into synthetically generated time series data and incorporates an automated hyperparameter optimization mechanism. This mechanism generates an optimized model instance with the best architectural and training parameters from a pool of five selected models, namely Temporal Convolutional Network (TCN), InceptionTime, MiniRocket, Residual Networks (ResNet), and Long Short-Term Memory (LSTM). The selection is based on the user's preferences regarding anomaly detection accuracy and computational cost. The framework employs Time-series Generative Adversarial Networks (TimeGAN) as the synthetic dataset generator. The generated model instances are evaluated using a combination of accuracy and computational cost metrics, including training time and memory, during the anomaly detection process. Performance evaluation of the framework was conducted using a dataset from a watershed, demonstrating consistent selection of the most fitting model instance that satisfies the user's preferences.

연구 동기 및 목표

• 미국 동북부에 위치한 핵심 존 연구 유역에서 수집한 시계열 데이터에서 비정상적인 피크 패턴을 탐지하는 데 도전하는 것.
• 라벨이 부여된 데이터가 필요하고 모델 선택 과정이 복잡한 감독 학습 기반 이상 탐지 기법의 한계를 극복하는 것.
• 합성 라벨 데이터 생성과 이상 탐지에 최적화된 딥러닝 모델을 자동화된 파이프라인으로 개발하는 것.
• 정확도와 계산 비용 간의 균형을 확보하기 위해 사전 정의된 다섯 가지 아키텍처 중 가장 적합한 모델을 선택하는 것.
• 핵심 존 관측소에서 수집한 실제 수문학적 시계열 데이터에 대해 프레임워크를 평가하는 것.

제안 방법

• TimeGAN을 사용하여 실제 수문학적 패턴을 시뮬레이션하는 합성 시계열 데이터를 생성한다.
• 인위적인 피크 이상 현상을 합성 데이터에 삽입하여 훈련을 위한 완전히 라벨링된 데이터셋을 생성한다.
• 이상 탐지에 대해 다섯 가지 딥러닝 모델 — 시계열 컨volution 네트워크(TCN), InceptionTime, MiniRocket, 잔차 네트워크(ResNet), 장기 단기 기억(LSTM) — 를 평가한다.
• 사용자 정의된 정확도 및 계산 비용 선호도를 바탕으로 최적의 모델 인스턴스를 선택하는 자동화된 하이퍼파rameter 최적화 과정을 수행한다.
• 정확도, 훈련 시간, 메모리 사용량 등의 지표를 사용해 모델 성능을 평가한다.
• 합성 데이터 생성, 모델 훈련, 선택 과정을 하나의 자동화된 파이프라인으로 통합하여 수문학적 응용에 활용한다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성이 통제된 비정상 피크 패턴을 가진 실제 수문학적 시계열을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 정확도와 계산 비용 제약 조건이 다양할 때, TCN, InceptionTime, MiniRocket, ResNet, LSTM 중 어떤 딥러닝 아키텍처가 비정상 피크 패턴 탐지에 가장 우수한 성능을 보이는가?
• RQ3 사용자 정의된 성능과 효율성 간의 트레이드오프를 기반으로 자동화된 하이퍼파rameter 최적화 시스템이 일관되게 가장 적합한 모델을 선택할 수 있는가?
• RQ4 프레임워크는 핵심 존 관측소에서 수집한 실제 시계열 데이터에서 어떻게 성능을 발휘하는가?
• RQ5 인젝션된 이상 현상이 포함된 합성 데이터를 사용할 경우, 실제 라벨 데이터에 비해 모델의 일반화 성능이 얼마나 향상되는가?

주요 결과

• TimeGAN을 활용해 실제 수문학적 패턴을 가진 합성 시계열을 성공적으로 생성하고, 통제된 비정상 피크 패턴을 삽입함으로써 프레임워크가 효과적으로 작동함을 입증했다.
• 사용자 정의된 정확도 및 계산 비용 선호도를 기반으로 자동화된 하이퍼파arameter 최적화 과정이 다섯 개의 후보 모델 중 가장 적합한 모델을 일관되게 선택함을 확인했다.
• 실제 유역 데이터에 대한 추론 성능 검증을 통해 프레임워크가 높은 신뢰도로 비정상 피크 패턴을 탐지할 수 있음을 입증했다.
• 선택된 모델 인스턴스는 높은 탐지 정확도를 확보하면서도 수용 가능한 훈련 시간과 메모리 사용량을 유지하여 최적화 전략의 효과성을 확인했다.
• 합성 데이터와 자동 모델 선택의 통합은 이상 탐지에 있어 고비용의 수동으로 라벨링된 실재 데이터에 대한 의존도를 크게 감소시켰다.