Skip to main content
QUICK REVIEW

[논문 리뷰] AnomalyBERT: Self-Supervised Transformer for Time Series Anomaly Detection using Data Degradation Scheme

Yungi Jeong, Eun-Seok Yang|arXiv (Cornell University)|2023. 05. 08.
Anomaly Detection Techniques and ApplicationsComputer Science인용 수 16
한 줄 요약

AnomalyBERT는 다변량 시계열의 이상치를 탐지하기 위해 네 개의 합성 이상치를 활용한 데이터 저하 자기지도 학습 방식을 가진 트랜스포머 기반 모델을 학습시켜 다섯 개의 실제 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Mechanical defects in real situations affect observation values and cause abnormalities in multivariate time series, such as sensor values or network data. To perceive abnormalities in such data, it is crucial to understand the temporal context and interrelation between variables simultaneously. The anomaly detection task for time series, especially for unlabeled data, has been a challenging problem, and we address it by applying a suitable data degradation scheme to self-supervised model training. We define four types of synthetic outliers and propose the degradation scheme in which a portion of input data is replaced with one of the synthetic outliers. Inspired by the self-attention mechanism, we design a Transformer-based architecture to recognize the temporal context and detect unnatural sequences with high efficiency. Our model converts multivariate data points into temporal representations with relative position bias and yields anomaly scores from these representations. Our method, AnomalyBERT, shows a great capability of detecting anomalies contained in complex time series and surpasses previous state-of-the-art methods on five real-world benchmarks. Our code is available at https://github.com/Jhryu30/AnomalyBERT.

연구 동기 및 목표

  • 레이블이 없는 다변량 시계열에서 자기지도 학습을 활용하여 이상 탐지의 난제를 해결한다.
  • 이상 탐지를 감독하기 위해 합성 이상치를 이용한 데이터 저하 메커니즘을 도입한다.
  • 시계열 데이터에 적합한 시간 맥락 모델링을 갖춘 트랜스포머 기반 아키텍처를 개발한다.
  • 이전 방법보다 다수의 실제 벤치마크에서 우수한 성능을 입증한다.

제안 방법

  • 1D 상대 위치 편향을 가진 트랜스포머 인코더를 사용하여 시간적 맥락을 인코딩한다.
  • 무작위 창 간격을 네 가지 합성 이상치 중 하나로 대체하는 데이터 저하 스킴을 채택한다(소프트 교체, 균일 교체, 피크 노이즈, 길이 조정).
  • 입력 윈도우 내의 저하된 영역을 이상으로 라벨링하는 이진 교차 엔트로피 목적함수로 학습한다.
  • 윈도우 내의 각 데이터 패치를 선형 계층을 통해 임베딩으로 매핑한 후 트랜스포머 처리한다.
  • 윈도우 내에서 이상 가능성을 나타내는 포인트별 이상 탐지 점수를 출력한다.

실험 결과

연구 질문

  • RQ1자기지도 기반의 데이터 저하 학습 objective가 라벨이 없는 다변량 시계열에서 효과적인 이상 탐지를 가능하게 할 수 있는가?
  • RQ2상대 위치 편향이 있는 트랜스포머 아키텍처가 시간적 맥락과 변수 간 관계를 정확한 이상 점수 산출에 충분히 포착하는가?
  • RQ3합성 이상치 유형이 다양한 실제 데이터셋에서 탐지 성능에 어떤 영향을 미치는가?

주요 결과

  • AnomalyBERT는 F1 점수 기준으로 다섯 개의 실제 벤치마크에서 기존 방법들을 능가한다.
  • 데이터 저하 스킴은 이상 라벨이 없는 상태에서 시계열 맥락을 학습하도록 모델을 가능케 한다.
  • 트랜스포머의 1D 상대 위치 편향은 시간 정보를 통합하는 효과를 향상시킨다.
  • 합성 이상치 유형(소프트 교체, 균일 교체, 피크 노이즈, 길이 조정)의 조합이 데이터셋 전반에 걸쳐 강력한 탐지 성능을 얻는다.
  • 정성적 시각화는 잠재공간에서 이상 포인트의 명확한 분리를 보여준다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.