[논문 리뷰] Unsupervised Online Anomaly Detection On Irregularly Sampled Or Missing Valued Time-Series Data Using LSTM Networks

Oğuzhan Karaahmetoğlu, Fatih İlhan외 2명|arXiv (Cornell University)|2020. 05. 25.

Anomaly Detection Techniques and Applications참고 문헌 1인용 수 4

한 줄 요약

이 논문은 새로운 시간 조절 LSTM 아키텍처와 지원벡터데이터기술표현(SVDD)을 결합하여 비정규 샘플링 또는 결측값이 있는 시계열 데이터에 대해 종단간(end-to-end) 비지도 온라인 이상 탐지 프레임워크를 제안한다. 이 방법은 하이브리드 손실을 통해 특징 추출과 일변도 분류를 공동 최적화하여, 비정규 샘플링과 결측 데이터 하에서 시계열 의존성을 효과적으로 모델링함으로써 실제 데이터셋에서 표준 방법보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

We study anomaly detection and introduce an algorithm that processes variable length, irregularly sampled sequences or sequences with missing values. Our algorithm is fully unsupervised, however, can be readily extended to supervised or semisupervised cases when the anomaly labels are present as remarked throughout the paper. Our approach uses the Long Short Term Memory (LSTM) networks in order to extract temporal features and find the most relevant feature vectors for anomaly detection. We incorporate the sampling time information to our model by modulating the standard LSTM model with time modulation gates. After obtaining the most relevant features from the LSTM, we label the sequences using a Support Vector Data Descriptor (SVDD) model. We introduce a loss function and then jointly optimize the feature extraction and sequence processing mechanisms in an end-to-end manner. Through this joint optimization, the LSTM extracts the most relevant features for anomaly detection later to be used in the SVDD, hence completely removes the need for feature selection by expert knowledge. Furthermore, we provide a training algorithm for the online setup, where we optimize our model parameters with individual sequences as the new data arrives. Finally, on real-life datasets, we show that our model significantly outperforms the standard approaches thanks to its combination of LSTM with SVDD and joint optimization.

연구 동기 및 목표

• 라벨이 부족하거나 없을 때 비정규 샘플링 또는 결측값이 있는 시계열에서 이상을 탐지하는 데 도전하는 것.
• 시간적 의존성이 있는 가변 길이 시퀀스를 처리할 수 있는 완전히 비지도 온라인 학습 프레임워크를 개발하는 것.
• 전문가 기반 특징 선택이 필요 없도록 종단간 방식으로 특징 추출과 이상 분류를 공동 최적화하는 것.
• 샘플링 시간 정보를 LSTM 아키텍처에 통합하여 비균일 샘플링 하에서 시간 패턴을 개선한 모델링을 가능하게 하는 것.
• 순차적 경사 하강 업데이트를 사용하는 온라인 학습 알고리즘을 통해 실시간 적응을 가능하게 하는 것.

제안 방법

• 이월 간격에 따라 은닉 상태를 조절하는 시간 조절 게이트를 갖춘 수정된 LSTM(M-LSTM)을 도입하여 비정규 샘플링을 효과적으로 처리할 수 있도록 한다.
• 결측값이 있는 시퀀스의 시간적 구조를 유지하기 위해 훈련 중 복원 손실을 활용하여 특징 표현의 품질을 향상시킨다.
• 학습된 시간적 특징 기반으로 이상을 탐지하기 위해 일변도 분류기로 지원벡터데이터기술표현(SVDD)을 사용한다.
• 복원 손실과 SVDD 마진 손실을 조합한 복합 손실 함수를 통해 LSTM과 SVDD 구성 요소를 공동 최적화하여 종단간 훈련을 가능하게 한다.
• 새로운 시퀀스가 도착함에 따라 순차적으로 모델 파라미터를 업데이트하는 온라인 학습 알고리즘을 설계하여 실시간 구현을 지원한다.
• 훈련 중 무작위 시퀀스 제거를 적용하여 결측 데이터를 시뮬레이션하고 비정규 샘플링에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 라벨이 없는 조건에서 비정규 샘플링 또는 결측값이 있는 시계열을 이상 탐지하기 위해 수정된 LSTM 아키텍처가 효과적으로 작동할 수 있는가?
• RQ2 LSTM에 시간 조절 게이트를 통합함으로써 표준 또는 덧셈 방식의 시간 주입 LSTM 변종에 비해 성능 향상이 얼마나 이루어지는가?
• RQ3 특징 추출과 일변도 분류를 종단간 공동 최적화하는 것이 분리된 훈련 또는 히우리스틱 특징 선택 방법에 비해 어느 정도 뛰어난 성능을 발휘하는가?
• RQ4 결측 데이터 비율이나 비정규 샘플링 수준이 증가함에 따라 성능가 어떻게 변화하는가?
• RQ5 모델이 실시간 이상 탐지를 위해 온라인 학습 환경에 효과적으로 적응할 수 있는가?

주요 결과

• 시간 조절 게이트를 갖춘 제안된 M-LSTM 모델은 A-LSTM 및 D-LSTM 변종보다 뚜렷이 뛰어나며, 특히 결측 데이터 비율이 높아질수록 장기간의 샘플링 간격을 더 잘 모델링함으로써 성능 향상을 보인다.
• 0.7의 무작위 제거 비율을 가진 활동 인식 데이터셋에서 M-LSTM은 높은 수준의 결측 데이터에 대한 강건성을 입증하며 뚜렷한 성능 우위를 보였다.
• 복합 손실 함수를 통한 LSTM과 SVDD의 공동 최적화는 별도 훈련 또는 고정된 특징 추출 방식을 사용한 모델보다 뛰어난 이상 탐지 성능을 달성했다.
• 온라인 학습 알고리즘이 순차적 파라미터 업데이트를 가능하게 하여 스트리밍 데이터에 대한 실시간 배포에 적합한 시스템을 구현했다.
• 가변 길이 시퀀스와 높은 결측 데이터 비율 하에서도 M-LSTM은 강력한 AUC 스코어를 유지하여 효과적인 시간적 특징 학습 능력을 입증했다.
• 제거 비율이 증가할수록 M-LSTM과 A-LSTM 간의 성능 격차가 더욱 벌어져, 덧셈적 시간 주입 방식에 비해 조절 기반 시간 통합 방식이 열등하지 않음을 확인했다.