[논문 리뷰] DCdetector: Dual Attention Contrastive Representation Learning for Time Series Anomaly Detection

Yiyuan Yang, Chaoli Zhang외 3명|arXiv (Cornell University)|2023. 06. 17.

Anomaly Detection Techniques and Applications참고 문헌 76인용 수 10

한 줄 요약

DCdetector는 재구성 손실 없이 정상 포인트와 이상치를 구분하기 위해 순열 불변 표현을 학습하는 이중 분기 이중 주의 대비 프레임워크를 제시한다.

ABSTRACT

Time series anomaly detection is critical for a wide range of applications. It aims to identify deviant samples from the normal sample distribution in time series. The most fundamental challenge for this task is to learn a representation map that enables effective discrimination of anomalies. Reconstruction-based methods still dominate, but the representation learning with anomalies might hurt the performance with its large abnormal loss. On the other hand, contrastive learning aims to find a representation that can clearly distinguish any instance from the others, which can bring a more natural and promising representation for time series anomaly detection. In this paper, we propose DCdetector, a multi-scale dual attention contrastive representation learning model. DCdetector utilizes a novel dual attention asymmetric design to create the permutated environment and pure contrastive loss to guide the learning process, thus learning a permutation invariant representation with superior discrimination abilities. Extensive experiments show that DCdetector achieves state-of-the-art results on multiple time series anomaly detection benchmark datasets. Code is publicly available at https://github.com/DAMO-DI-ML/KDD2023-DCdetector.

연구 동기 및 목표

• 대조적 표현 학습을 활용해 다변량 시계열에서 비지도 이상 탐지를 동기 부여한다.
• 정상 패턴과 이상치를 구분하기 위한 경량의 이중 분기 아키텍처와 이중 주의 구조를 제안한다.
• 재구성 손실과 음수 샘플에 의존하는 것을 제거하여 이상치에 대한 주의 분산을 줄인다.
• 다양한 실제 데이터셋에서 최첨단 성능을 입증하고 붕괴 방지에 대한 분석을 제공한다.

제안 방법

• 패칭 기반의 채널 독립적 주의 모듈을 사용하여 로컬 및 교차 채널 시간 의존성을 캡처한다.
• 공유 가중치를 가진 패치 단위 및 패치 내 표현의 두 가지 뷰를 처리하는 이중 주의 대비 구조를 구현한다.
• 음수 샘플 없이 무의미한 붕괴를 방지하면서 두 뷰를 정렬하는 대칭 KL-발산 기반 손실을 최적화한다.
• 두 표현 간의 KL 발산의 합으로 이상 점수를 계산하고 비대칭성을 강제하기 위해 stop-gradient 연산을 적용한다.
• 정보 손실을 줄이고 표현의 풍부함을 높이기 위해 다중 스케일 패칭 설계를 채택한다.

실험 결과

연구 질문

• RQ1 재구성 손실 없이 이중 분기 이중 주의 대비 프레임워크가 시계열 이상에 대해 판별 가능한 표현을 학습할 수 있나요?
• RQ2 패치 단위 뷰와 패치 내 뷰 간의 순열 불변 표현이 다변량 시계열에서 정상 포인트를 이상치와 효과적으로 구분하나요?
• RQ3 DCdetector에서 다중 스케일 패칭이 정보 보존 및 이상 탐지 구분에 어떤 영향을 미치나요?
• RQ4 음수 샘플이 없는 순수한 자가 감독 학습 환경에서 모델은 붕괴에 견고한가요?

주요 결과

• DCdetector는 7개의 다변량 시계열과 1개의 단변량 시계열 벤치마크에서 최첨단 방법과 경쟁력 있는 또는 우수한 성능을 달성한다.
• 이 방법은 두 분기, 공유 가중치 아키텍처를 사용하여 정상 포인트에 대한 순열 불변 표현을 학습하고 이상치는 뷰 간 표현 차이가 더 크게 나타난다.
• 재구성 없이 대조적 목적을 가진 손실과 stop-gradient를 통해 이상치로 인한 주의 산만을 줄이고 사소한 붕괴에 대한 견고성을 보여준다.
• 다중 스케일 패칭은 정보 유지력을 향상시키고 로컬 시맨틱 패턴을 포착하는 데 도움을 주어 이상 탐지 성능을 향상시킨다.
• 실험적 결과는 다채로운 데이터셋에서 강력한 성능을 보여주며 실제 다변량 및 단변량 시계열을 포함한다.