[논문 리뷰] Anomaly Detection with Generative Adversarial Networks for Multivariate Time Series

Dan Li, Dacheng Chen외 2명|arXiv (Cornell University)|2018. 09. 13.

Anomaly Detection Techniques and Applications참고 문헌 41인용 수 219

한 줄 요약

이 논문은 사이버 물리 시스템의 다변량 시계열에서 정상 동작을 모델링하기 위해 LSTM 기반 생성기와 판별기를 사용하는 GAN-AD를 제안하며, 잔차 및 판단 손실을 통해 이상치를 탐지한다. 이는 비지도 이상 탐지 방법이다.

ABSTRACT

Today's Cyber-Physical Systems (CPSs) are large, complex, and affixed with networked sensors and actuators that are targets for cyber-attacks. Conventional detection techniques are unable to deal with the increasingly dynamic and complex nature of the CPSs. On the other hand, the networked sensors and actuators generate large amounts of data streams that can be continuously monitored for intrusion events. Unsupervised machine learning techniques can be used to model the system behaviour and classify deviant behaviours as possible attacks. In this work, we proposed a novel Generative Adversarial Networks-based Anomaly Detection (GAN-AD) method for such complex networked CPSs. We used LSTM-RNN in our GAN to capture the distribution of the multivariate time series of the sensors and actuators under normal working conditions of a CPS. Instead of treating each sensor's and actuator's time series independently, we model the time series of multiple sensors and actuators in the CPS concurrently to take into account of potential latent interactions between them. To exploit both the generator and the discriminator of our GAN, we deployed the GAN-trained discriminator together with the residuals between generator-reconstructed data and the actual samples to detect possible anomalies in the complex CPS. We used our GAN-AD to distinguish abnormal attacked situations from normal working conditions for a complex six-stage Secure Water Treatment (SWaT) system. Experimental results showed that the proposed strategy is effective in identifying anomalies caused by various attacks with high detection rate and low false positive rate as compared to existing methods.

연구 동기 및 목표

• 고차원의 다이나믹하게 상호 작용하는 센서/액추에이터 스트림을 가진 복합 CPS에서 강건한 이상 탐지의 필요성을 제시한다.
• LSTM-RNN을 사용해 정상 다변량 시계열을 공동으로 모델링하는 GAN 기반 프레임워크를 개발한다.
• 생성기 기반 잔차와 판별기 기반 판별 두 가지를 이용한 이상 점수화를 활용한다.
• 다양한 사이버 공격 하에서 SWaT 수처리 테스트베드에서 GAN-AD의 탐지 성능 향상과 거짓 양성 감소를 보여준다.

제안 방법

• 다변량 시계열의 비선형 시간 상관을 포착하기 위해 생성자와 판별자가 모두 LSTM-RNN인 GAN을 사용한다.
• G가 현실적인 정상 시퀀스를 생성하도록 학습하고 D가 실제 시퀀스와 생성된 시퀀스를 구분하도록 학습한다.
• 이상 점수 S_t를 잔차 손실(잠재 공간에서 실제 테스트 데이터와 생성기 재구성 간의 거리)과 판별 손실(D의 테스트 데이터에 대한 출력)을 결합하여 계산한다.
• 고차원 테스트 데이터를 잠재 공간으로 매핑하여 해당 G(Z)와 잔차를 얻는다.
• 계산 부담을 관리하기 위해 GAN-AD에 데이터를 feed하기 전에 PCA를 적용해 차원을 축소하는 것을 선택적으로 수행한다.
• 그 다음 이상 점수화 식 S_t = lambda * Residual(X_t) + (1 - lambda) * D(X_t)를 따른다.
• 네트워크 학습에 Adam/그래디언트 기반 최적화를 사용하고 테스트 데이터를 가장 잘 재구성하는 Z^k를 찾기 위한 잠재 공간 매핑 단계를 추가한다.]

실험 결과

연구 질문

• RQ1 LSTM-RNN 구성요소를 가진 GAN이 정상 다변량 CPS 시계열의 분포를 모델링하여 비지도 이상 탐지가 가능하게 하는가?
• RQ2 GAN 생성기(재구성 잔차를 통해)와 GAN 판별기 모두를 활용하는 것이 CPS 데이터에서 기존 방법보다 이상 탐지 성능을 향상시키는가?
• RQ3 제안된 GAN-AD가 다단계 CPS 실험 장비에서 사이버 공격 하에 PCA 기반 또는 SPC 방법과 비교해 어떤 성능을 보이는가?
• RQ4 다변량 모델링(단변량에 비해)이 CPS 데이터의 이상 탐지 효과에 어떤 영향을 미치는가?

주요 결과

지점	방법	정확도	정밀도	재현율	F1	FPR
LIT-101	GAN-AD	87.63	50.00	1.75	0.03	9.32
LIT-301	GAN-AD	86.85	22.22	1.04	0.02	0.52
LIT-401	GAN-AD	80.35	11.68	9.94	0.10	10.14
All	GAN-AD 1	90.57	85.71	7.20	0.13	0.13
All	GAN-AD 5	94.80	93.33	63.64	0.75	0.46

• GAN-AD는 SWa 수준 데이터셋에서 CUSUM 및 SPE 기반 PCA 방법과 비교하여 여러 목표에 대해 경쟁적이거나 우수한 이상 탐지 성능을 보인다.
• 단변량 탐지는 일반적으로 GAN-AD의 다변량 대비 성능이 약하고 거짓 양성이 더 높으며 정밀도/재현율이 낮다.
• 선정된 시점에서 GAN-AD가 정밀도/재현율 트레이드를 크게 개선한다(예: LIT-101: GAN-AD 정밀도 50.00%, 재현율 1.75%로 CUSUM 대비 우수; 전체 All: GAN-AD 1은 정확도 90.57%, 정밀도 85.71%, 재현율 7.20%, F1 0.13, FPR 0.13).
• 다변량 GAN-AD는 여러 스트림을 사용할 때 빠르게 현실적인 데이터 분포에 수렴하고 학습 중 MMD가 더 낮아 함께 작동하는 동역학 학습이 효과적임을 시사한다.
• PCA 기반 투영에서 처음 다섯 주성분으로도 GAN-AD가 효과적으로 작동하며, 여러 센서/액추에이터에서 공격이 발생할 때 높은 이상 탐지 점수를 관측할 수 있다.