[논문 리뷰] Time Series Anomaly Detection Using Convolutional Neural Networks and Transfer Learning

Tailai Wen, Roy Keyes|arXiv (Cornell University)|2019. 05. 31.

Anomaly Detection Techniques and Applications참고 문헌 22인용 수 100

한 줄 요약

이 논문은 완전: CNN 기반의 시계열 분할 방식(U-Net)을 이용한 이상 탐지와 단변량 사전학습을 다변량 작업에 적용하는 전이 학습 프레임워크(MU-Net)를 제시하며, 합성 데이터 및 실데이터로 검증하였다.

ABSTRACT

Time series anomaly detection plays a critical role in automated monitoring systems. Most previous deep learning efforts related to time series anomaly detection were based on recurrent neural networks (RNN). In this paper, we propose a time series segmentation approach based on convolutional neural networks (CNN) for anomaly detection. Moreover, we propose a transfer learning framework that pretrains a model on a large-scale synthetic univariate time series data set and then fine-tunes its weights on small-scale, univariate or multivariate data sets with previously unseen classes of anomalies. For the multivariate case, we introduce a novel network architecture. The approach was tested on multiple synthetic and real data sets successfully.

연구 동기 및 목표

• IoT/산업 모니터링에서 이상이 드문 시계열 데이터에서 이상 탐지를 촉진한다.
• U-Net에서 영감을 얻은 CNN 기반 시계열 분할 아키텍처를 제안하여 이상 구간을 탐지한다.
• 합성 단변량 데이터에서 사전학습하여 데이터 희소성을 극복하는 전이 학습 프레임워크를 도입한다.
• 단변량 사전학습 특성을 다변량 시계열 작업에 전이하기 위해 MU-Net을 개발한다.
• 전이 학습 상황을 포함하여 단변량 및 다변량 데이터셋에서 성능을 평가한다.

제안 방법

• 1D CNN을 인코더–디코더 대칭성 및 스킵 연결을 갖춘 U-Net 유사 아키텍처로 시계열 분할에 적응시킨다.
• 채널을 독립된 차원으로 간주하고 다변량 입력을 처리하며 마지막 계층 구성(다중 클래스/다중 라벨 또는 명목 클래스)을 적절히 사용한다.
• 학습에는 소프트 Dice 손실과 Adam 옵티마이저를 사용한다.
• 사용자 지정 크기 척도로 입력 정규화를 적용하고; 동적 스케일링을 위한 스냅샷당 정규화 층을 선택적으로 추가한다.
• 강건성을 높이기 위해 시계열 특화 증강(확대/축소, 추세, 반전 등)으로 학습 데이터를 증강한다.
• 단변량 사전학습 가중치를 채널별 인코딩으로 다변량 작업에 전이하고 이어서 공동 인코딩 단계 및 표준 디코딩 단계를 거치는 MU-Net 아키텍처를 개발한다.

실험 결과

연구 질문

• RQ1 CNN 기반 분할 모델(U-Net)이 단변량 및 다변량 시계열에서 이상 구간을 효과적으로 탐지할 수 있는가?
• RQ2 대규모 합성 단변량 시계열 데이터에서의 전이 학습이 실제 세계의 더 작고 다변량/단변량 이상 탐지 작업에 얼마나 효과적인가?
• RQ3 MU-Net이 단변량에서 다변량 시계열 이상 탐지로 학습된 특성을 전이하는 실행 가능한 메커니즘을 제공하는가?
• RQ4 데이터 증강과 입력 정규화가 시계열 이상 분할에서 탐지 성능에 미치는 영향은 무엇인가?

주요 결과

• Dodgers Loop 센서 데이터(단변量)에서 42개의 이벤트로 학습한 모델은 81개의 이벤트를 탐지했고 39개의 테스트 시퀀스 중 3개만 놓쳤으며, 일부 결측값 근처에서 위양성이 있었다.
• Gasoil plant 데이터(다변量, 19 변수)에서는 22건의 공격 중 1건만 놓쳤고 18개의 테스트 시퀀스에서 3건의 오탐이 있었다.
• 이상한 형태의 합성 단변량 곡선은 단변량 전이 학습 후 IoU가 71.95%로 나타났고, 처음부터 학습한 경우 50.96%였다.
• EMG 데이터셋 결과는 56.61% IoU(scratch U-Net)에서 64.10% IoU(MU-Net)로 개선되었고, pretrained U-Net을 MU-Net으로 전이 후 파인튜닝하여 70.04% IoU에 도달했다.
• 제안된 분할 기반 접근법은 스트리밍 데이터에서 이상의 고해상도 로컬화를 가능하게 하여 슬라이딩 윈도우 분류 방법의 문제를 해결한다.