[논문 리뷰] GDformer: Going Beyond Subsequence Isolation for Multivariate Time Series Anomaly Detection

Qingxiang Liu, Chenghao Liu외 3명|ArXiv.org|2025. 01. 30.

Anomaly Detection Techniques and Applications인용 수 3

한 줄 요약

GDformer는 다변량 시계열에서 비지도 이상 탐지를 위해 시계열 전체에 걸친 정상 표현을 학습하도록 전역 사전-강화 크로스-어텐션 트랜스포머를 프로토타입과 함께 도입하며, 다섯 개 벤치마크에서 최첨단 성과를 달성한다.

ABSTRACT

Unsupervised anomaly detection of multivariate time series is a challenging task, given the requirements of deriving a compact detection criterion without accessing the anomaly points. The existing methods are mainly based on reconstruction error or association divergence, which are both confined to isolated subsequences with limited horizons, hardly promising unified series-level criterion. In this paper, we propose the Global Dictionary-enhanced Transformer (GDformer) with a renovated dictionary-based cross attention mechanism to cultivate the global representations shared by all normal points in the entire series. Accordingly, the cross-attention maps reflect the correlation weights between the point and global representations, which naturally leads to the representation-wise similarity-based detection criterion. To foster more compact detection boundary, prototypes are introduced to capture the distribution of normal point-global correlation weights. GDformer consistently achieves state-of-the-art unsupervised anomaly detection performance on five real-world benchmark datasets. Further experiments validate the global dictionary has great transferability among various datasets. The code is available at https://github.com/yuppielqx/GDformer.

연구 동기 및 목표

• 다변량 시계열에 대한 부분시퀀스 격리(seouence isolation)를 넘어서는 비지도 이상 탐지의 동기를 부여한다.
• 전체 시계열에 걸쳐 정상 포인트가 공유하는 글로벌 표현을 학습한다.
• 프로토타입을 이용한 간결하고 유사도 기반의 이상 탐지 기준을 제공한다.
• 학습된 글로벌 딕셔너리가 데이터셋 간에 transfer 가능함을 시연한다.

제안 방법

• 표준 자기-주의를 전역 Key/Value 사전의 크기 N을 갖는 사전 기반 크로스-어텐션 메커니즘으로 교체한다.
• 정상 포인트-글로벌 상관 패턴을 포착하기 위해 P 프로토타입을 갖춘 유사도 평가 분기를 도입한다.
• 재구성 손실과 유사도-불일치 손실을 결합하여 사전과 프로토타입을 함께 학습한다 (L_total = L_c - lambda L_s).
• 크로스-어텐션의 프로토타입과의 유사도에서 이상 점수(AnomalyScore)를 계산하고 시리즈-수준 임계값을 적용하여 탐지한다.
• 입력 서브시퀀스는 고정 확률로 마스킹되고, 정규화되며 트랜스포머 계층에 입력 임베딩된다.

Figure 1: How to derive the detection criterion. Left : AnomalyTrans and DCdctector learn intra-subsequence point-wise association and derive the detection criterion by combining subsequence-level anomaly scores. Right : Our proposal cultivates global normal representations manifested as dictionary

실험 결과

연구 질문

• RQ1 글로벌 딕셔너리와 크로스-어텐션이 시리즈 레벨의 정상 표현을 학습하여 horizon-limited 서브시퀀스보다 이상 탐지를 향상시킬 수 있는가?
• RQ2 정상 크로스-어텐션 가중치의 분포를 포착하는 프로토타입이 간결하고 신뢰할 수 있는 시리즈 레벨 탐지 기준을 가능하게 하는가?
• RQ3 딕셔너리 기반 접근이 데이터셋 간에 전달 가능한가, 즉 공유된 정상 시계 패턴이 있는가?

주요 결과

• GDformer는 다섯 개의 실제 벤치마크에서 최첨단의 비지도 이상 탐지 성능을 달성한다.
• 전역 딕셔너리는 표준 자기-주의에서의 O(T^2) 대비 낮은 복잡도 O(TN)의 크로스-어텐션을 가능하게 하여 효율성을 향상시킨다.
• 프로토타입과 유사도-불일치 손실을 더하면 재구성만 보거나 단일 기준 기반의 베이스라인과 비교하여 F1 점수가 크게 향상된다.
• 크로스-어텐션과 다중 계층 유사도 손실의 조합이 최상의 성능을 낳는 것으로 보이는 제거(ablations) 분석.
• 전이 실험에서 글로벌 딕셔너리와 프로토타입은 데이터셋 간에 잘 전이되어, 공유된 정상 패턴이 있음을 나타낸다.

Figure 2: Anomaly scores v.s. detection criterion for different subsequences in AnomalyTrans.