[논문 리뷰] Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy

Jiehui Xu, Haixu Wu외 2명|arXiv (Cornell University)|2021. 10. 06.

Anomaly Detection Techniques and Applications참고 문헌 30인용 수 238

한 줄 요약

이 논문은 서비스 모니터링, 우주/지구 탐사, 물 처리 분야의 6개 벤치마크에서 최고 성능을 기록한 새로운 비지도 시계열 이상 탐지 모델인 Anomaly Transformer를 제안한다. 이 모델은 자기주의 주의 메커니즘을 활용하여, 이상치 포인트가 전체 시계열과 어떻게 다른 방식으로 연관되는지를 측정하는 '연관성 이질성'을 계산한다. 정상 포인트와 이상치 포인트 간의 연관성 차이를 강화하기 위해 이중 브랜치 이상 주의 메커니즘과 최소-최대 전략을 도입함으로써, 정상 및 이상 연관성 간의 구별 능력을 향상시켰다.

ABSTRACT

Anomaly detection in time series data is a critical task in various domains, including finance, healthcare, cybersecurity and industry. Traditional methods, such as time series decomposition, clustering, and density estimation, have provided robust solutions for identifying anomalies that exhibit distinct patterns or significant deviations from normal data distributions. Recent advancements in machine learning and deep learning have further enhanced these capabilities. This paper introduces a novel method for anomaly detection that combines the strengths of autoencoders and recurrent neural networks (RNNs) with an reconstruction error feedback mechanism based on Mean Squared Error. We compare our method against classical techniques and recent approaches like OmniAnomaly, which leverages stochastic recurrent neural networks, and the Anomaly Transformer, which introduces association discrepancy to capture long-range dependencies and DCDetector using contrastive representation learning with multi-scale dual attention. Experimental results demonstrate that our method achieves superior overall performance in terms of precision, recall, and F1 score. The source code is available at http://github.com/mribrahim/AE-FAR

연구 동기 및 목표

• 이상치가 드물고 정상 데이터와 구분하기 어려운 비지도 시계열 이상 탐지 문제를 해결하기 위해.
• 정상 및 이상 시계열 포인트 간의 시간적 연관 패턴의 본질적 차이를 효과적으로 포착할 수 있는 기준을 개발하기 위해.
• 사전 연관성(접한 집중 편향)과 시리즈 연관성(전역 주의)을 동시에 모델링하여 탐지 성능을 향상시키기 위해.
• 연관성 이질성에 대한 새로운 최소-최대 최적화 전략을 통해 모델의 강건성과 구별 능력을 향상시키기 위해.

제안 방법

• 이중 브랜치 구조를 가진 Anomaly-Attention 메커니즘을 제안: 한 브랜치는 학습 가능한 가우시안 커널과 함께 접한 집중 인덕티브 바이어스를 활용해 사전 연관성을 모델링하고, 다른 브랜치는 표준 자기주의 주의를 통해 원시 시계열에서 시리즈 연관성을 학습한다.
• 각 시점에 대해 사전 연관성과 시리즈 연관성 간의 거리를 '연관성 이질성'으로 정의하여, 포인트가 전체 시리즈와 어떻게 다를지의 정도를 측정한다.
• 사전 연관성을 최적화하여 시리즈 연관성을 제약함으로써, 정상 및 이상 연관성 간의 이질성 차이를 증폭시키는 최소-최대 전략을 도입한다.
• 재구성 손실을 통해 표현 품질을 유지하면서도, 최소-최대 목적이 연관성 이질성의 분류 능력을 향상시켜 이상 탐지에 유용하게 활용한다.
• 기존의 재구성 오차를 대체하거나 보완하는 새로운 탐지 기준으로 연관성 이질성을 적용한다.
• 라벨이 없는 이상치가 포함된 원시 시계열 데이터만을 사용하여 엔드 투 엔드로 비지도 방식으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 사전 연관성(접한 집중)과 시리즈 연관성(전역 주의) 간의 연관성 이질성이 신뢰할 수 있고 구별 가능한 이상 탐지 기준이 될 수 있는가?
• RQ2 이상치가 내재한 접한 집중 편향을 어떻게 모델링하고 활용하여 탐지 성능을 향상시킬 수 있는가?
• RQ3 최소-최대 전략이 연관성 이질성에서 정상/이상 포인트의 차이를 효과적으로 증폭시켜 탐지의 강건성을 향상시킬 수 있는가?
• RQ4 제안된 Anomaly Transformer가 다양한 실제 시계열 응용 분야에서 기존 최고 수준의 방법들을 초월하는가?

주요 결과

• Anomaly Transformer는 서비스 모니터링, 우주 및 지구 탐사, 물 처리 분야의 6개 비지도 시계열 이상 탐지 벤치마크에서 최고 성능을 기록했다.
• 최소-최대 전략은 이상 및 정상 시점 간의 대비를 크게 향상시켰으며, SMD 데이터셋에서 재구성 전용일 경우 대비가 1.15에서 최소-최대 전략 적용 후 2.39로 증가했다.
• 연관성 기반 기준은 재구성 기반 기준보다 우수한 성능을 보였으며, 특히 포인트-컨텍스추얼 이상 및 패턴-계절 이상 탐지에서 오진률을 감소시켰다.
• 사전 주의 브랜치에서 학습된 스케일 파라미터 σ는 이상치에서 더 작은 값을 가지며, 이는 접한 집중 인덕티브 바이어스가 효과적으로 포착되었음을 확인한다.
• 시각화 결과는 연관성 이질성 기준이 재구성 오차보다 이상치에 대해 더 일관되고 명확한 점수를 생성함을 확인했다.
• 절단 실험 결과, Anomaly-Attention 메커니즘과 최소-최대 전략 둘 다 최적 성능을 내기 위해 필수적이며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.