[논문 리뷰] A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data

Chuxu Zhang, Dongjin Song외 8명|arXiv (Cornell University)|2018. 11. 20.

Anomaly Detection Techniques and Applications참고 문헌 30인용 수 97

한 줄 요약

MSCRED는 다변량 시계열의 이상 탐지 및 진단을 위해 서명 행렬을 재구성하고 잔차를 분석하는 다중 스케일 컨볼루션 신경망 인코더-디코더를 도입하여 합성 데이터와 발전소 데이터에서 베이스라인보다 우수하게 수행한다.

ABSTRACT

Nowadays, multivariate time series data are increasingly collected in various real world systems, e.g., power plants, wearable devices, etc. Anomaly detection and diagnosis in multivariate time series refer to identifying abnormal status in certain time steps and pinpointing the root causes. Building such a system, however, is challenging since it not only requires to capture the temporal dependency in each time series, but also need encode the inter-correlations between different pairs of time series. In addition, the system should be robust to noise and provide operators with different levels of anomaly scores based upon the severity of different incidents. Despite the fact that a number of unsupervised anomaly detection algorithms have been developed, few of them can jointly address these challenges. In this paper, we propose a Multi-Scale Convolutional Recurrent Encoder-Decoder (MSCRED), to perform anomaly detection and diagnosis in multivariate time series data. Specifically, MSCRED first constructs multi-scale (resolution) signature matrices to characterize multiple levels of the system statuses in different time steps. Subsequently, given the signature matrices, a convolutional encoder is employed to encode the inter-sensor (time series) correlations and an attention based Convolutional Long-Short Term Memory (ConvLSTM) network is developed to capture the temporal patterns. Finally, based upon the feature maps which encode the inter-sensor correlations and temporal information, a convolutional decoder is used to reconstruct the input signature matrices and the residual signature matrices are further utilized to detect and diagnose anomalies. Extensive empirical studies based on a synthetic dataset and a real power plant dataset demonstrate that MSCRED can outperform state-of-the-art baseline methods.

연구 동기 및 목표

• 다변량 시계열에서 시간 의존성과 센서 간 상관관계를 고려한 견고한 이상 탐지의 동기를 부여한다.
• 이상 탐지를 공동으로 수행하고 원인 식별 및 이상 심도 해석 프레임워크를 제안한다.
• 다중 스케일 서명 행렬로 시스템 상태를 표현하여 서로 다른 수준의 이상을 포착한다.
• 센서 간 상관관계와 시간적 패턴을 학습하기 위한 인코더-디코더 아키텍처를 개발하고 잔차를 이상 점수로 활용한다.

제안 방법

• 시계열 구간으로부터 다중 스케일(해상도) 시스템 서명 행렬을 구성한다.
• 연결된 서명 행렬들 위에 완전 합성 컨볼루션 인코더로 센서 간 상관관계를 인코딩한다.
• 과거의 관련 상태에 선택적으로 주의를 기울이도록 주의 기반 ConvLSTM으로 시간 패턴을 모델링한다.
• 합성 행렬을 재구성하고 잔차를 얻기 위해 컨볼루션 디코더로 디코딩한다.
• 제곱 재구성 손실을 사용하여 엔드-투-엔드 학습하고 잔차를 이상 탐지 및 진단에 활용한다.

실험 결과

연구 질문

• RQ1 MSCRED가 다변량 시계열에서 최첨단의 비지도 이상 탐지 베이스라인보다 우수한지 여부를 평가할 수 있는가?
• RQ2 개별 구성요소(컨볼루션 인코더, 주의 기반 ConvLSTM, 다중 스케일 서명)가 탐지 성능에 어떻게 기여하는가?
• RQ3 MSCRED가 원인 식별(어떤 센서가 이상을 주도하는지)과 이상 심도 해석(지속 시간)을 정확히 식별할 수 있는가?
• RQ4 MSCRED가 입력 노이즈에 대해 전통적 시간 예측 또는 밀도 기반 방법에 비해 견고한가?

주요 결과

• MSCRED는 합성 데이터와 발전소 데이터 세트 모두에서 모든 베이스라인보다 더 높은 이상 탐지 성능을 달성하였으며, 최상의 베이스라인 대비 F1 점수에서 13.3%에서 30.0%까지 개선이 보고된다.
• ConvLSTM 층 수를 늘리면 성능이 향상되며, 주의 기반 ConvLSTM이 비주의 variants보다 우수하다.
• MSCRED는 원인 식별에서 LSTM-ED보다 우수한 재현율을 상당한 차이(보고된 사례에서 29–32 퍼센트포인트 차이)로 제공한다.
• 작은/중간/큰 스케일에 해당하는 세 가지 서명 행렬 채널을 통해 다양한 이상 지속 시간에서도 견고한 이상 탐지를 보인다.
• MSCRED는 입력 노이즈에 대해 강인함을 보이며 노이즈가 0.2에서 0.45로 증가하는 동안 ARMA 및 LSTM-ED보다 우수하다.