[논문 리뷰] Innovations Autoencoder and its Application in One-class Anomalous Sequence Detection

Xinyi Wang, Lang Tong|arXiv (Cornell University)|2021. 06. 23.

Anomaly Detection Techniques and Applications참고 문헌 49인용 수 8

한 줄 요약

이 논문은 인과 컨volution 네트워크와 워샤프스타인 GAN을 사용하여 비정규 분포이면서 알려지지 않은 시간 시리즈에서 통계적으로 독립적이고 동일하게 분포된 창의적 시퀀스를 추출하는 딥러닝 프레임워크인 혁신 자동에코더(Innovations Autoencoder, IAE)를 제안한다. 이 방법은 효과적인 일종 이상 탐지 기능을 가능하게 하여 BESS 및 UTK 데이터셋에서 각각 0.8354 및 0.9135의 최신 기술 수준(AUROC) 점수를 기록하며, ANICA, OCSVM 및 F-AnoGAN보다 미세한 이상 징후가 있는 어려운 상황에서 뛰어난 성능을 보였다.

ABSTRACT

An innovations sequence of a time series is a sequence of independent and identically distributed random variables with which the original time series has a causal representation. The innovation at a time is statistically independent of the history of the time series. As such, it represents the new information contained at present but not in the past. Because of its simple probability structure, an innovations sequence is the most efficient signature of the original. Unlike the principle or independent component analysis representations, an innovations sequence preserves not only the complete statistical properties but also the temporal order of the original time series. An long-standing open problem is to find a computationally tractable way to extract an innovations sequence of non-Gaussian processes. This paper presents a deep learning approach, referred to as Innovations Autoencoder (IAE), that extracts innovations sequences using a causal convolutional neural network. An application of IAE to the one-class anomalous sequence detection problem with unknown anomaly and anomaly-free models is also presented.

연구 동기 및 목표

• 비정규 분포이면서 알려지지 않은(stationary) 시간 시리즈에서 창의적 시퀀스를 추출하기 위한 계산적으로 타당한 방법을 개발하는 것.
• 기본 과정에 대한 비모수적 가정 없이 창의적 시퀀스를 추출하는 열린 문제를 해결하는 것.
• 알려지지 않은 시간적 및 확률적 구조를 가진 시간 시리즈에 대해 실시간으로 인과적 표현 학습을 가능하게 하는 것.
• 정상 모델이나 이상 모델이 모두 알려지지 않은 상황에서 학습된 창의적 표현을 이용해 일종 이상 시퀀스 탐지에 적용하는 것.
• 실제 세계 및 합성 시간 시리즈에서 미세하고 구분하기 어려운 이상 징후를 탐지하는 데서 뛰어난 성능을 입증하는 것.

제안 방법

• 과거 시간 시리즈 관측치를 잠재 창의적 시퀀스로 매핑하기 위해 인과 컨volution 신경망(CNN)을 인코더로 제안한다.
• 잠재 시퀀스가 i.i.d.가 되도록 보장하기 위해 워샤프스타인 GAN 기반의 학습 목표를 적용한다. 이는 통계적 독립성과 동일 분포를 보장한다.
• 인과 디코더 네트워크를 사용하여 창의적 시퀀스에서 원본 시간 시리즈를 재구성함으로써 인과성과 정보 보존을 확보한다.
• 유한 블록 수렴 정리(정리 1)를 적용하여 IAE의 고차원 구현이 이상 창의적 표현을 근사할 수 있음을 보장한다.
• 이전의 이상 없음 시간 시리즈 데이터를 사용해 IAE를 엔드 투 엔드로 훈련시켜 데이터 기반의 비모수적 표현을 학습한다.
• 정상성의 근본 가설 하에 잠재 코드의 i.i.d. 성질을 검증함으로써 학습된 창의적 시퀀스를 일종 이상 탐지에 활용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 비정규 분포이면서 알려지지 않은 정상 시간 시리즈에서 통계적으로 독립적이고 동일하게 분포된 창의적 시퀀스를 추출할 수 있는가?
• RQ2 제안된 혁신 자동에코더(IAE)는 현실적인 훈련 조건 하에서 이상 창의적 표현으로의 유한 블록 수렴을 달성하는가?
• RQ3 정상 모델과 이상 모델이 모두 알려지지 않은 상황에서 IAE 기반 표현은 기존 방법보다 일종 이상 시퀀스 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ4 정상 신호와 이상 신호의 근본 분포가 거의 동일한 경우 IAE는 어떻게 효과적으로 미세한 이상을 탐지하는가?
• RQ5 모수적 통계로는 구분되지 않지만 시간적 의존성 구조에서 다를 수 있는 이상을 IAE는 탐지할 수 있는가?

주요 결과

• BESS 데이터셋에서 IAE는 AUROC 0.8354를 기록했으며, ANICA(0.5027), OCSVM(0.4903), F-AnoGAN(0.4993)보다 유의미하게 뛰어나, 전력 시스템의 미세한 이상 징후 탐지 능력을 입증했다.
• 40dB SNR의 가우시안 믹스처 노이즈가 있는 UTK 데이터셋에서 IAE는 AUROC 0.9135를 기록하여 모든 방법 중 최고 수준이었으며, 미세하고 복잡한 이상에 대한 강건성을 보였다.
• SIN1에서는 정상 및 이상 데이터의 근본 분포가 동일한 경우 IAE는 AUROC 0.9021을 기록했으며, 점차적으로 최적의 Quenouille 탐지기(0.9112)에 가까워졌고, 시간적 구조에 대한 민감성을 입증했다.
• SIN2에서는 근본 분포가 약간 다를 수 있으나 시간적 의존성이 크게 다를 경우 IAE는 AUROC 0.9635를 기록했으며, ANICA(0.6337), OCSVM(0.5407), F-AnoGAN(0.5020)을 모두 앞서며, 구조적 차이를 포착하는 능력을 입증했다.
• IAE 프레임워크는 복잡하고 비정규 분포인 시간 시리즈에서 잠재적인 i.i.d. 표현을 성공적으로 추출하여, 전통적 방법이 실패할 수 있는 상황에서도 신뢰할 수 있는 이상 탐지 기능을 가능하게 했다.
• 유한 블록 수렴 정리(정리 1)는 고차원 IAE 구현이 적절한 훈련 조건 하에 이상 창의적 표현을 근사할 수 있음을 이론적으로 뒷받침한다.