[논문 리뷰] TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data

Shreshth Tuli, Giuliano Casale외 1명|arXiv (Cornell University)|2022. 01. 18.

Anomaly Detection Techniques and Applications인용 수 112

한 줄 요약

TranAD는 자기 조건화(self-conditioning), 적대적 학습(adversarial training), 및 MAML을 활용한 다변량 시계열의 빠르고 견고한 탐지와 진단을 위한 트랜스포머 기반 이상 탐지 모델을 제시합니다.

ABSTRACT

Efficient anomaly detection and diagnosis in multivariate time-series data is of great importance for modern industrial applications. However, building a system that is able to quickly and accurately pinpoint anomalous observations is a challenging problem. This is due to the lack of anomaly labels, high data volatility and the demands of ultra-low inference times in modern applications. Despite the recent developments of deep learning approaches for anomaly detection, only a few of them can address all of these challenges. In this paper, we propose TranAD, a deep transformer network based anomaly detection and diagnosis model which uses attention-based sequence encoders to swiftly perform inference with the knowledge of the broader temporal trends in the data. TranAD uses focus score-based self-conditioning to enable robust multi-modal feature extraction and adversarial training to gain stability. Additionally, model-agnostic meta learning (MAML) allows us to train the model using limited data. Extensive empirical studies on six publicly available datasets demonstrate that TranAD can outperform state-of-the-art baseline methods in detection and diagnosis performance with data and time-efficient training. Specifically, TranAD increases F1 scores by up to 17%, reducing training times by up to 99% compared to the baselines.

연구 동기 및 목표

• 고차원 다변량 시계열에서 이상 탐지 및 진단을 개선합니다.
• 산업 환경에서 표본 데이터 부족과 초저 추론 시간의 필요성을 해결합니다.
• 트랜스포머 아키텍처를 활용해 긴 범위의 시간적 추세를 효율적으로 포착합니다.
• 안정적인 적대적 학습과 자기 조건화를 도입해 강건성과 일반화를 향상합니다.
• 모델 비적합한 메타학습(MAML)을 통해 제한된 데이터로 효과를 입증합니다.

제안 방법

• 시간 추세를 모사하기 위해 어텐션이 있는 트랜스포머 기반 인코더–디코더 아키텍처를 사용합니다.
• 두 단계의 자기 조건화를 적용해 재구성 편차를 증폭시키고 정보가 풍부한 부분 구간에 초점을 맞춥니다.
• 학습을 안정화하고 강건성을 향상시키기 위해 두 개의 디코더를 포함한 적대적 학습을 도입합니다.
• 제한된 데이터로의 적응을 위해 모델-불가지론적 메타학습(MAML)을 사용합니다.
• 데이터를 슬라이딩 윈도우로 전처리하고 복제 패딩을 적용한 후 [0,1]로 정규화합니다.
• 두 단계의 재구성 및 Peak Over Threshold (POT)를 통한 동적 임계값 설정으로 이상치를 추론합니다.

실험 결과

연구 질문

• RQ1 TranAD가 다변량 시계열의 이상 탐지 및 진단에서 최첨단 베이스라인을 능가할 수 있는가?
• RQ2 자기 조건화된 두 단계 적대적 학습이 탐지의 안정성과 단기 시간 추세에 대한 민감도를 향상시키는가?
• RQ3 MAML이 이상 탐지 작업에서 제한된 표본 데이터로도 효과적인 학습을 가능하게 하는가?
• RQ4 TranAD가 높은 차원의 데이터에서 빠른 학습 및 추론을 달성하면서 정확도를 희생하지 않는가?

주요 결과

• TranAD는 여섯 개의 공개 데이터셋에서 베이스라인보다 성능이 우수하며 F1 점수가 최대 17% 더 높습니다.
• 학습 시간이 경쟁 방법 대비 최대 99% 단축됩니다.
• 자기 조건화를 갖춘 두 단계의 적대적 학습은 강건성을 높이고 작은 편차의 탐지를 개선합니다.
• 제한된 학습 데이터로도 MAML이 좋은 성능을 가능하게 하며 빠른 적응을 입증합니다.
• Attention 및 집중 점수는 데이터 피크 및 높은 편차 구간과 상관관계가 있어 차원별 이상 탐지를 가능하게 합니다.