[논문 리뷰] PaAno: Patch-Based Representation Learning for Time-Series Anomaly Detection

Jinju Park, Seokho - Kang|arXiv (Cornell University)|2026. 02. 01.

Anomaly Detection Techniques and Applications인용 수 0

한 줄 요약

PaAno는 1D-CNN을 이용해 짧은 시계열 패치를 임베딩하는 경량 패치 기반 표현 학습 방법을 도입하여, 단변량 및 다변량 데이터에서 최첨단 결과를 달성하는 빠르고 메모리 효율적인 이상 탐지를 가능하게 한다. TSB-AD에서의 상태-오브-더-아트 성능을 보여준다.

ABSTRACT

Although recent studies on time-series anomaly detection have increasingly adopted ever-larger neural network architectures such as transformers and foundation models, they incur high computational costs and memory usage, making them impractical for real-time and resource-constrained scenarios. Moreover, they often fail to demonstrate significant performance gains over simpler methods under rigorous evaluation protocols. In this study, we propose Patch-based representation learning for time-series Anomaly detection (PaAno), a lightweight yet effective method for fast and efficient time-series anomaly detection. PaAno extracts short temporal patches from time-series training data and uses a 1D convolutional neural network to embed each patch into a vector representation. The model is trained using a combination of triplet loss and pretext loss to ensure the embeddings capture informative temporal patterns from input patches. During inference, the anomaly score at each time step is computed by comparing the embeddings of its surrounding patches to those of normal patches extracted from the training time-series. Evaluated on the TSB-AD benchmark, PaAno achieved state-of-the-art performance, significantly outperforming existing methods, including those based on heavy architectures, on both univariate and multivariate time-series anomaly detection across various range-wise and point-wise performance measures.

연구 동기 및 목표

• 시계열 이상 탐지를 위한 무거운 Transformer 기반 방법에 대한 경량 대안을 제고한다.
• 로컬 시간 패턴을 포착하기 위해 패치 기반 표현 학습을 제안한다.
• 패치를 정상 패턴과 비교하는 메모리 뱅크 기반 이상 탐지 점수 매커니즘을 개발한다.
• 엄격한 평가 하에 TSB-AD 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 슬라이딩 윈도우를 사용하여 정상 시계열 학습 데이터에서 중첩된 패치를 추출한다.
• 각 패치를 컴팩트한 1D-CNN으로 임베딩하여 패치 수준 표현으로 변환한다.
• 유사한 패치를 군집시키는 트리플렛 손실과 시간 관계를 강제하는 프리텍스트 손실을 포함하는 공동 목적으로 학습한다.
• 학습 데이터로부터 패치 임베딩의 메모리 뱅크를 구축하고 코어셋 서브샘플링을 적용하여 크기를 줄인다.
• 추론 중에는 패치 임베딩과 축소된 메모리 뱅크 간의 최근접 이웃 거리로 이상 점수를 계산하고 인접한 패치들에 대해 평균한다.

Figure 3: Training procedure of PaAno. The training dataset is split into patches. Using the patch set, three model components—a patch encoder, a projection head, and a classification head—are trained with the training objective that consists of two losses. Triplet loss encourages temporally similar

실험 결과

연구 질문

• RQ1 경량화된 1D-CNN으로 모델링된 패치 수준 표현이 무거운 아키텍처 없이도 경쟁력 있는 이상 탐지를 달성할 수 있는가?
• RQ2 트리플렛 손실과 프리텍스트 손실의 결합이 시계열 이상 탐지를 위한 강건하고 판별력 있는 패치 임베딩을 만들어내는가?
• RQ3 엄격한 평가에서 단변량 및 다변량 시계열 모두에 대해 메모리 뱅크 기반 점수 매기기 방식이 얼마나 잘 작동하는가?
• RQ4 제안된 방법이 비정상성 및 하이퍼파라미터 설정에 대해 강건하면서도 효율성을 유지하는가?

주요 결과

Method	VUS-PR	VUS-ROC	Range-F1	AUC-PR	AUC-ROC	Point-F1	#Params	Run Time
PaAno (Ours)	0.52 /1	0.89 /1	0.48 /1	0.46 /1	0.86 /1	0.51 /1	0.3M	6.9s
(KAN-AD)	0.43 /2	0.82 /2	0.43 /2	0.41 /2	0.80 /2	0.44 /2	<0.1M	12.1s

• PaAno가 단변량 및 다변량 시계열 모두에 대해 TSB-AD 벤치마크에서 최첨단 성능을 달성한다.
• 광범위한 범위-지표와 포인트-지표 모두에서 대형 아키텍처를 능가하며, 광범위한 하이퍼파라미터 튜닝 없이도 성능을 발휘한다.
• 패치 기반 임베딩을 갖춘 경량 1D-CNN이 로컬 시간 의존성에 집중하여 강력한 이상 탐지 구분력을 제공한다.
• 코어셋 서브샘플링이 적용된 메모리 뱅크는 실시간 배포에 적합한 효율적이고 확장 가능한 이상 점수 매기기를 제공한다.
• 하이퍼파라미터 구성과 비정상적인 정상 상태(non-stationary)에서도 간편한 온라인 메모리 업데이트를 통해 강건함을 보인다.

Figure 4: Anomaly detection procedure of PaAno.