[논문 리뷰] TiSAT: Time Series Anomaly Transformer

Keval Doshi, Shatha Abudalou외 1명|arXiv (Cornell University)|2022. 03. 10.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 비지도 시계열 이상 탐지에 적합한 자기주의 기반 트랜스포머 모델인 TiSAT을 제안한다. 이는 기존 평가 지표의 결함을 해결하기 위해 탐지 시기성과 정밀도를 측정하는 새로운 SPD 지표를 도입함으로써, 점진적 이상 패턴에서의 성능을 보다 정확히 평가한다. TiSAT은 점진적 이상 탐지의 평가 기준이 수정된 상황에서 기준 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며, 점진적 이상 탐지의 평가 기준이 수정된 상황에서 최적의 성능을 발휘한다.

ABSTRACT

While anomaly detection in time series has been an active area of research for several years, most recent approaches employ an inadequate evaluation criterion leading to an inflated F1 score. We show that a rudimentary Random Guess method can outperform state-of-the-art detectors in terms of this popular but faulty evaluation criterion. In this work, we propose a proper evaluation metric that measures the timeliness and precision of detecting sequential anomalies. Moreover, most existing approaches are unable to capture temporal features from long sequences. Self-attention based approaches, such as transformers, have been demonstrated to be particularly efficient in capturing long-range dependencies while being computationally efficient during training and inference. We also propose an efficient transformer approach for anomaly detection in time series and extensively evaluate our proposed approach on several popular benchmark datasets.

연구 동기 및 목표

• 기존 시계열 이상 탐지 방법에서의 잘못된 평가 기준을 규명하고 수정한다. 이는 순차적 이상에서 진짜 양성(true positives)을 과도하게 강조하고, 가짜 경고(false negatives)를 과도하게 페널티 처리함으로써 F1 스코어를 인위적으로 높이는 문제를 해결하기 위함이다.
• 순차적 패턴에서 이상 탐지의 시기성과 정밀도를 측정하는 새로운 평가 지표인 SPD(순차적 정밀도 및 지연)를 제안한다.
• 장기적인 시간적 의존성을 효과적으로 포착하면서도 계산 효율성을 유지할 수 있는 효율적인 트랜스포머 기반 모델인 TiSAT을 개발한다.
• 극값 이론과 라멘트-와이 함수(Lambert-W function)를 사용하여 이상 탐지 임계값을 설정하기 위한 이론적 기반을 제공한다. 이는 점진적 이상 탐지에서 원하는 가짜 경고 비율(false alarm rate)을 확보하기 위한 폐쇄형 표현식을 유도한다.

제안 방법

• TiSAT은 100 크기의 슬라이딩 윈도우 입력을 사용하는 두 개의 인코더와 하나의 디코더를 갖춘 트랜스포머 아키텍처를 채택하여 순차적 시계열 데이터를 처리한다.
• 모델은 입력 시계열의 재구성 오차를 측정함으로써 이상을 탐지하기 위해 재구성 기반 손실을 사용한다.
• 핵심 기여 중 하나는 극값 이론을 활용해 폐쇄형 임계값을 유도한 것으로, 임계값 h는 h = -log(FAR)/ω₀로 계산되며, 여기서 ω₀는 데이터 차원성과 통계적 성질로부터 유도된다.
• 가짜 경고 비율은 예상된 가짜 경고 주기의 역수를 사용하여 분석적으로 경계되며, 다섯 개인 기준 데이터셋에서 실증적으로 검증되었다.
• 모델은 4 에포크 동안 고정 학습률 1e-4로 Adam 옵timizer를 사용하여 훈련되며, 모든 데이터셋에 대해 최소-최대 정규화가 적용된다.
• 제안된 SPD 지표는 경고 발동 지연 시간과 이상 시퀀스 탐지 정밀도를 측정함으로써, 기존의 인스턴스 기반 지표에서 발생하는 편향을 피하여 이상 탐지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 순차적 이상에서 진짜 양성을 과도하게 강조하는 표준 인스턴스 기반 평가 지표는, 실제 성능이 열 劣한 모델일지라도 매우 높은 F1 스코어를 기록할 수 있는가?
• RQ2 낮은 확률로 무작위로 경고를 발생시키는 단순한 무작위 추측 전략이 표준 평가 프로토콜 하에서 최신 기술 이상 탐지 모델보다 성능이 뛰어나게 되는가?
• RQ3 신규 평가 지표인 SPD는 순차적 이상 탐지에서 탐지 시기성과 정밀도를 모두 측정함으로써 실제 운영 환경의 성능을 더 잘 반영할 수 있는가?
• RQ4 트랜스포머 기반 아키텍처는 시계열 데이터에서 장기적인 시간적 의존성을 효과적으로 모델링하면서도 훈련 및 추론 과정에서 계산 효율성을 유지할 수 있는가?
• RQ5 비지도 이상 탐지에서 원하는 가짜 경고 비율을 확보하기 위해 이상 탐지 임계값에 대한 폐쇄형 분석 표현식을 도출할 수 있는가?

주요 결과

• 1%의 경고 확률을 가진 무작위 추측 전략은 SMD에서 F1 스코어 93.39, PSM에서 98.83를 기록하며, 표준 조정된 인스턴스 기반 평가 하에서 최신 기술 모델들을 능가함으로써, 이 평가 기준의 근본적 결함을 드러낸다.
• TiSAT은 SMD에서 SPD 스코어 52.70, MSL에서 33.40, SMAP에서 29.35, SWaT에서 46.23, PSM에서 38.58을 기록하며, OCSVM, IsolationForest, LSTM 등의 전통적 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 제안된 SPD 지표는 F1 스코어에서 높은 성능을 기록한 Anomaly Transformer 및 InterFusion와 같은 모델들이 탐지 시기성과 정밀도 측면에서 떨어지는 것으로 드러났다.
• 점점 증가하는 가짜 경고 비율 분석을 통한 이론적 임계값은 실증 결과와 매우 유사하게 일치하며, 모든 데이터셋에서 h = -log(FAR)/ω₀의 폐쇄형 표현식이 검증되었다.
• 주의 메커니즘을 활용한 재구성 기반 훈련은 장기적인 의존성을 효과적으로 포착하여 다양한 실제 시계열 데이터에서 뛰어난 탐지 성능을 이끌어냈다.
• 실증적 검증을 통해 제1정리에서 도출된 가짜 경고 주기의 하한값이 실제로 관측된 가짜 경고 주기와 매우 유사하게 일치함을 확인하였으며, 이는 이론적 프레임워크의 강건성을 뒷받침한다.