[논문 리뷰] PatchAD: A Lightweight Patch-based MLP-Mixer for Time Series Anomaly Detection

Zhijie Zhong, Zhiwen Yu외 3명|arXiv (Cornell University)|2024. 01. 18.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

PatchAD는 비정상 패턴을 정상 패턴과 구분하기 위해 대조 학습을 사용하는 경량이며 다중 스케일의 패치 기반 MLP-Mixer 아키텍처를 제안한다. 비중복 시간 패치와 이중 프로젝션 제약 조건을 활용하여 여덟 개인 벤치마크 데이터셋에서 높은 효율성과 강건성을 확보한 최신 기술 성능을 달성한다.

ABSTRACT

Time series anomaly detection is a pivotal task in data analysis, yet it poses the challenge of discerning normal and abnormal patterns in label-deficient scenarios. While prior studies have largely employed reconstruction-based approaches, which limit the models' representational capacities. Moreover, existing deep learning-based methods are not sufficiently lightweight. Addressing these issues, we present PatchAD, our novel, highly efficient multiscale patch-based MLP-Mixer architecture that utilizes contrastive learning for representation extraction and anomaly detection. With its four distinct MLP Mixers and innovative dual project constraint module, PatchAD mitigates potential model degradation and offers a lightweight solution, requiring only $0.403M$ parameters. Its efficacy is demonstrated by state-of-the-art results across $8$ datasets sourced from different application scenarios, outperforming over $30$ comparative algorithms. PatchAD significantly improves the classical F1 score by 6.84%, the Aff-F1 score by 4.27%, and the V-ROC by 2.49%. Simultaneously, an in-depth analysis of the mechanisms underlying PatchAD has been conducted from both theoretical and experimental perspectives, validating the design motivations of the model. The code is publicly available at https://github.com/EmorZz1G/PatchAD.

연구 동기 및 목표

• 비정상 패턴을 구분하는 데에 한계가 있는 복원 기반 방법이 레이블이 없는 시간 시리즈 데이터에서 정상 패턴과 비정상 패턴을 구분하는 데에 초래하는 문제를 해결하기 위해.
• 계산 복잡도를 줄이면서도 높은 성능을 유지하는 경량 딥 러닝 프레임워크를 설계하기 위해.
• 다중 스케일 시간 패치와 채널 간 상호의존성을 모델링하여 시간 시리즈 이상 탐지에서 표현 학습을 향상시키기 위해.
• 새로운 이중 프로젝션 제약 모듈을 통해 대조 학습에서의 모델 열화를 완화하기 위해.
• 최소한의 아키텍처 오버헤드로 다양한 다변량 시간 시리즈 데이터셋에서 효과적인 이상 탐지가 가능하도록 하기 위해.

제안 방법

• PatchAD는 입력 시간 시리즈를 겹치지 않는 시간 패치로 나누는 다중 스케일 패치 전략을 사용하여 점 수준 표현을 초월한 더 rich한 의미적 특징을 캡처한다.
• 다양한 패치 크기를 처리하기 위해 네 개의 별도된 MLP-Mixer 인코더를 사용하여 다중 스케일 시간 역학과 관계를 모델링한다.
• 동일한 패치 시퀀스에 대해 두 개의 증강된 시각을 생성함으로써 대조 학습을 적용하여 정상 샘플에 대해서는 일관된 표현을 유도하고 비정상 샘플에 대해서는 이를 방해한다.
• 대조 학습에서 표현 붕괴를 방지하고 훈련을 안정화하기 위해 프로젝션 헤드를 정규화하는 이중 프로젝션 제약 모듈을 도입한다.
• 주의 메커니즘을 피하기 위해 MLP 기반 혼합 메커니즘을 통해 패치 간 및 패치 내 관계를 모델링하여 경량 추론을 보장한다.
• 이상 탐지 점수는 대조 손실과 복원 오차를 기반으로 계산되며, 이상을 분류하기 위해 학습된 임계값을 사용한다.

실험 결과

연구 질문

• RQ1 순수하게 MLP 기반 아키텍처가 계산 비용을 낮추면서도 주의 기반 모델보다 시간 시리즈 이상 탐지에서 뛰어난 성능을 낼 수 있는가?
• RQ2 다중 스케일 패치 전략이 다양한 시간 시리즈 패턴에서 다양한 이상 유형을 탐지하는 데에 얼마나 효과적인가?
• RQ3 이중 프로젝션 제약 조건이 시간 시리즈 데이터에 대한 대조 학습에서 표현 붕괴를 어느 정도 완화하는가?
• RQ4 최신 기술 방법과 비교해 볼 때 PatchAD는 다양한 실제 다변량 시간 시리즈 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 창문 크기, 패치 크기, 모델 차원 등의 하이퍼파라미터 설정은 성능과 추론 속도 사이의 최적의 트레이드오프를 어떻게 이끌어내는가?

주요 결과

• PatchAD는 여덟 개의 벤치마크 데이터셋에서 최신 기술 성능을 달성하였으며, MSL에서는 F1 스코어 95.02, SMAP에서는 96.55, WADI에서는 92.43를 기록하였다.
• 제거 실험 결과, 이중 프로젝션 제약 조건을 제거할 경우 MSL에서 F1 스코어가 1.96 포인트 감소함을 확인하여, 이 제약 조건이 모델 열화 방지에 핵심적인 역할을 한다는 것을 입증하였다.
• SMD 데이터셋에서 슬라이딩 스텝이 1일 때 DCdetector 대비 1.45배 더 빠른 속도를 유지하여 높은 효율성을 확보하였다.
• 창문 크기 60에서 210까지 다양하게 변동하더라도 성능이 안정적으로 유지되었으며, 창문 크기 105에서 최적의 결과를 기록하여 입력 길이 변화에 대한 강건성을 입증하였다.
• 완전한 구성으로 설정했을 때 WADI 데이터셋에서 100%의 리콜을 달성하여 희귀하거나 복잡한 이상 탐지 능력이 뛰어나다는 것을 보여주었다.
• 감도 분석 결과, 프로젝션 제약 조건을 0.1에서 0.4 사이로 설정하고 이상 임계값을 0.8에서 1.0 사이로 설정할 경우 다양한 데이터셋에서 최고의 성능을 기록하였다.