[논문 리뷰] RSM-GAN: A Convolutional Recurrent GAN for Anomaly Detection in Contaminated Seasonal Multivariate Time Series

Farzaneh Khoshnevisan, Zhewen Fan|arXiv (Cornell University)|2019. 11. 16.

Anomaly Detection Techniques and Applications참고 문헌 18인용 수 8

한 줄 요약

RSM-GAN은 복잡한 순환 패턴을 모델링하기 위해 스무딩된 어텐션 메커니즘을 사용하고, 오염된 학습 데이터를 처리하기 위해 보조 인코더를 활용하는 새로운 컨volutional recurrent GAN 아키텍처로, 다변량 시계열 이상 탐지에 사용된다. 실제 세계 및 합성 데이터에서 각각 30%와 16% 높은 정밀도를 달성하며, 인과 추론 프레임워크를 통해 정확한 원인 규명이 가능하다.

ABSTRACT

Robust anomaly detection is a requirement for monitoring complex modern systems with applications such as cyber-security, fraud prevention, and maintenance. These systems generate multiple correlated time series that are highly seasonal and noisy. This paper presents a novel unsupervised deep learning architecture for multivariate time series anomaly detection, called Robust Seasonal Multivariate Generative Adversarial Network (RSM-GAN). It extends recent advancements in GANs with adoption of convolutional-LSTM layers and an attention mechanism to produce state-of-the-art performance. We conduct extensive experiments to demonstrate the strength of our architecture in adjusting for complex seasonality patterns and handling severe levels of training data contamination. We also propose a novel anomaly score assignment and causal inference framework. We compare RSM-GAN with existing classical and deep-learning based anomaly detection models, and the results show that our architecture is associated with the lowest false positive rate and improves precision by 30% and 16% in real-world and synthetic data, respectively. Furthermore, we report the superiority of RSM-GAN regarding accurate root cause identification and NAB scores in all data settings.

연구 동기 및 목표

• 복잡하고 겹치는 계절 패턴을 가진 다변량 시계열에서 이상 탐지를 해결하기 위해.
• 실제 시스템에서 흔한 심각한 학습 데이터 오염에 대한 강건성을 향상시키기 위해.
• 기본적인 이상 신호 표시를 넘어서 인과 추론 프레임워크를 통해 정확한 원인 규명을 가능하게 하기 위해.
• 이미지에서의 GAN 기반 이상 탐지 기법을 시간적 및 공간적 의존성을 모델링함으로써 다변량 시계열으로 확장하기 위해.
• 실시간 복잡한 시스템 모니터링에서 높은 정밀도와 낮은 거짓 양성 비율을 달성하기 위해.

제안 방법

• CNN 처리를 위한 이미지 유사 표현을 가능하게 하기 위해 원시 다변량 시계열을 다중 채널 상관계수 행렬로 변환한다.
• 상관계수 행렬 내의 공간적 상관관계와 시간적 의존성을 동시에 모델링하기 위해 컨volutional-LSTM 아키텍처를 활용한다.
• 일일, 주간, 휴일 효과 등 여러 겹치는 계절 패턴을 명시적으로 모델링하기 위해 새로운 스무딩 어텐션 메커니즘을 도입한다.
• 안정적인 학습과 빠른 수렴을 위해 기울기 보정이 있는 워샤르반 GAN을 사용한다.
• 오염된 학습 데이터에서 정상 패턴과 이상을 분리하기 위해 보조 인코더를 통합한다.
• 잔차 상관계수 행렬을 활용한 점수 부여 및 인과 추론 프레임워크를 제안하여 이상 점수를 할당하고 원인을 규명한다.

실험 결과

연구 질문

• RQ1 GAN 기반 아키텍처는 복잡하고 겹치는 계절 패턴을 가진 다변량 시계열에서 이상을 효과적으로 탐지할 수 있는가?
• RQ2 학습 데이터에 이상이 포함된 고도의 오염 상황에서 RSM-GAN의 성능은 어떠한가?
• RQ3 제안된 어텐션 메커니즘은 실제 시계열에서 여러 계절 성분(예: 일일, 주간, 휴일 효과)을 정확히 모델링할 수 있는가?
• RQ4 인과 추론 프레임워크의 통합은 표준 이상 탐지 모델 대비 원인 규명 능력을 향상시키는가?
• RQ5 다양한 데이터 설정에서 정밀도, F1 점수, NAB 점수 측면에서 RSM-GAN은 최신 기술 모델들과 비교해 어떤가?

주요 결과

• RSM-GAN은 실제 세계의 암호화 키 데이터에서 최고의 베이스라인(MSCRED) 대비 30% 높은 정밀도를 달성했다.
• 합성 데이터에서는 다음으로 우수한 모델(MSCRED) 대비 16% 높은 정밀도를 확보하여 오염과 계절성에 대한 강건성을 입증했다.
• 오염된 합성 데이터에서 RSM-GAN은 FPR 0.0010을 기록하여 Isolation Forest(0.0033)와 OC-SVM(0.0038)를 크게 앞서며 가장 낮은 거짓 양성 비율을 기록했다.
• 휴일이 포함된 상황에서 RSM-GAN은 휴일 효과를 정확히 반영한 반면, OC-SVM 및 Isolation Forest와 같은 베이스라인 모델들은 휴일 인식 기능이 없어 휴일을 이상으로 잘못 판단했다.
• 합성 데이터에서 RSM-GAN은 NAB 점수 0.8986을 기록했고, 실제 세계 데이터에서는 0.2992를 기록하여 모든 베이스라인을 압도하며 뛰어난 이상 탐지 품질을 입증했다.
• 합성 데이터에서 RSM-GAN은 원인 규명 재현율 78.7%를 기록했고, 실제 세계 데이터에서는 50.93%를 달성하여 MSCRED(각각 66.00% 및 47.09%)를 크게 앞서며 향상된 진단 능력을 입증했다.