[논문 리뷰] Feedforward Neural Network for Time Series Anomaly Detection

Rong Zhang, Dong Shandong외 2명|arXiv (Cornell University)|2018. 12. 20.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 7

한 줄 요약

이 논문은 정규화된 원시 데이터에서 끝에서 끝까지 패턴을 학습함으로써 수작업 특성 공학의 필요성을 제거하는 피드포워드 신경망을 제안한다. 이 모델은 광범위한 특성 공학을 통해 XGBoost보다 더 높은 오프라인 정밀도와 재현율을 달성하며, 은닉층 출력은 의미 있는 시계열 표현으로 기능한다.

ABSTRACT

Time series anomaly detection is usually formulated as finding outlier data points relative to some usual data, which is also an important problem in industry and academia. To ensure systems working stably, internet companies, banks and other companies need to monitor time series, which is called KPI (Key Performance Indicators), such as CPU used, number of orders, number of online users and so on. However, millions of time series have several shapes (e.g. seasonal KPIs, KPIs of timed tasks and KPIs of CPU used), so that it is very difficult to use a simple statistical model to detect anomaly for all kinds of time series. Although some anomaly detectors have developed many years and some supervised models are also available in this field, we find many methods have their own disadvantages. In this paper, we present our system, which is based on deep feedforward neural network and detect anomaly points of time series. The main difference between our system and other systems based on supervised models is that we do not need feature engineering of time series to train deep feedforward neural network in our system, which is essentially an end-to-end system.

연구 동기 및 목표

• 수작업 특성 공학에 의존도를 줄이고, 끝에서 끝까지의 딥 러닝 모델을 개발하여 시계열 이상 탐지에 대한 강건성을 향상시키는 것.
• 대규모 산업 모니터링 환경에서 이상 탐지 시스템의 정밀도와 재현율을 향상시키는 것.
• 딥 피드포워드 네트워크가 사전 통계적 또는 도메인 특화 특성 추출 없이도 원시 데이터에서 복잡한 시계열 패턴을 직접 학습할 수 있음을 보여주는 것.
• 학습된 네트워크의 은닉층 표현이 시계열에 대해 효과적이고 의미 있는 특성으로 기능할 수 있음을 보여주는 것.

제안 방법

• 모델은 정규화된 원시 시계열 데이터를 기반으로 끝에서 끝까지 훈련된 깊은 피드포워드 신경망을 사용하여 이상 레이블을 예측한다.
• ReLU와 시그모이드 활성화를 사용하여 이진 지표 함수의 커스터마이즈 가능한 미분 가능 근사치를 도입하여 임계값 기반 특성(예: x ≥ a)을 학습 가능한 구성요소로 표현한다.
• 시간 시계열 패턴을 다층 완전 연결 층, 배치 정규화, ReLU 활성화를 통해 인코딩하도록 네트워크 아키텍처를 설계한다.
• 핵심 기능인 '평균 초과 수'와 '평균 이하 수'는 지표 함수의 미분 가능 근사치를 사용하여 구현되어, 이러한 연산을 통해 역전파가 가능해진다.
• 이상의 긴 꼬리 분포를 다루기 위해 클래스 균형 샘플링을 사용한 이진 교차 엔트로피 손실을 사용해 모델을 훈련한다.
• 훈련 후, 은닉층 활성화를 추출하여 후속 분석이나 전이 학습을 위한 압축되고 의미 있는 시계열 표현으로 활용한다.

실험 결과

연구 질문

• RQ1 수작업 특성 공학에 의존하지 않고도 피드포워드 신경망이 시계열 이상을 효과적으로 탐지할 수 있는가?
• RQ2 끝에서 끝까지의 딥 피드포워드 네트워크의 성능은 광범위한 특성 공학을 거친 전통적 모델인 XGBoost와 비교해 어떻게 되는가?
• RQ3 학습된 네트워크의 은닉층 표현이 시계열에 대해 유용하고 의미 있는 특성으로 기능할 수 있는가?
• RQ4 이산 연산(예: 임계값)의 미분 가능 근사치를 얼마나 효과적으로 활용하여 완전히 훈련 가능한 이상 탐지 모델을 구축할 수 있는가?

주요 결과

• 제안된 피드포워드 신경망은 광범위한 수작업 특성 공학을 거친 XGBoost 모델보다 더 높은 오프라인 정밀도와 재현율을 달성한다.
• 모델은 수작업 특성 공학 없이도 원시 정규화된 시계열 데이터에만 의존하여 이상을 성공적으로 탐지한다.
• 학습된 네트워크의 은닉층 출력은 시계열의 기본 패턴과 추세를 포착하여 효과적이고 의미 있는 표현으로 입증된다.
• 네트워크가 임계값과 같은 이산 연산 및 카운트를 미분 가능한 함수로 근사할 수 있는 능력 덕분에 끝에서 끝까지의 훈련이 가능해지고 모델의 일반화 능력이 향상된다.
• 이러한 접근은 깊은 피드포워드 네트워크가 고속도 산업 시계열에서 실시간 이상 탐지에 대해 강력하고 확장 가능한 솔루션으로 기능할 수 있음을 보여준다.