[논문 리뷰] Is it worth it? Comparing six deep and classical methods for unsupervised anomaly detection in time series

Ferdinand Rewicki, Joachim Denzler외 1명|arXiv (Cornell University)|2022. 12. 21.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 연구는 UCR 이상 아카이브에서 6가지 비지도 이상 탐지 방법—세 가지 고전적 방법(RRCF, MDI, MERLIN)과 세 가지 딥러닝 방법(AE, GANF, TranAD)—을 비교한다. 결과적으로 고전적 방법, 특히 MDI와 MERLIN가 다양한 이상 유형에서 딥러닝 모델을 능가함을 보여주며, 더 깊이 있는 모델이 성능을 높이는 데 기여한다는 가정에 도전한다. 비록 해석 가능성은 낮아지지만 말이다.

ABSTRACT

Detecting anomalies in time series data is important in a variety of fields, including system monitoring, healthcare, and cybersecurity. While the abundance of available methods makes it difficult to choose the most appropriate method for a given application, each method has its strengths in detecting certain types of anomalies. In this study, we compare six unsupervised anomaly detection methods of varying complexity to determine whether more complex methods generally perform better and if certain methods are better suited to certain types of anomalies. We evaluated the methods using the UCR anomaly archive, a recent benchmark dataset for anomaly detection. We analyzed the results on a dataset and anomaly type level after adjusting the necessary hyperparameters for each method. Additionally, we assessed the ability of each method to incorporate prior knowledge about anomalies and examined the differences between point-wise and sequence-wise features. Our experiments show that classical machine learning methods generally outperform deep learning methods across a range of anomaly types.

연구 동기 및 목표

• 비지도 시계열 이상 탐지에서 딥러닝 모델의 복잡성 증가가 해석 가능성 감소를 감수하면서까지 정당화되는지 평가하는 것.
• 모든 이상 타입에 적합한 유일한 방법이 없기 때문에 특정 이상 유형에 가장 적합한 이상 탐지 방법을 규명하는 것.
• 특징 표현 방식(점 기반 대비 서브시퀀스 기반)과 하이퍼파라미터 튜닝이 모델 성능에 미치는 영향을 평가하는 것.
• 더 세밀한 벤치마킹을 가능하게 하기 위해 16가지의 별도 이상 유형에 대한 주석을 추가하여 UCR 이상 아카이브를 향상시키는 것.
• 하이퍼파라미터 튜닝과 통일된 평가 프로토콜을 적용한 표준화된 실험 조건 하에서 공정하고 종합적인 비교를 제공하는 것.

제안 방법

• 이 연구는 6가지 최신 비지도 이상 탐지 방법을 평가한다: RRCF(격리림프 기반), MDI(최대로 다를 구간), MERLIN(밀도 기반), AE(오토에인코더), GANF(그래프 증강 정규화 플로우), TranAD(트랜스포머 기반).
• 모든 방법은 4개 도메인(의료, 산업, 생물학, 기상학)에서 온 250개의 단변량 시계열로 구성된 벤치마크 데이터셋인 UCR 이상 아카이브에서 평가된다.
• GANF 및 기타 방법에 대해 베이지안 최적화를 사용한 광범위한 하이퍼파라미터 튜닝을 수행하였으며, 사전 튜닝이 없는 경우에만 기본값을 사용하였다.
• 이상 탐지 성능은 F1 점수와 UCR 점수로 측정되었으며, 결과는 데이터셋 수준과 16개의 주석화된 이상 유형 수준에서 분석되었다.
• RRCF에 대해 점 기반 특징(예: 원본 데이터 포인트)과 서브시퀀스 기반 특징(예: 슬라이딩 윈도우)을 비교하였으며, MDI와 MERLIN의 서브시퀀스 길이 민감도를 평가하였다.
• 세부 분석을 가능하게 하기 위해 UCR 이상 아카이브에 16가지의 별도 이상 유형 주석을 추가하여 다양한 이상 패턴에서의 모델 성능 분석을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 비지도 시계열 이상 탐지에서 딥러닝 모델의 우월한 성능가치로 해석 가능성 감소를 감수하는 것이 타당한가?
• RQ2 어떤 이상 유형이 어떤 방법으로 탐지 가능한가? 그리고 특징 표현 방식(점 기반 대비 서브시퀀스 기반)이 탐지 능력에 어떻게 영향을 미치는가?
• RQ3 하이퍼파라미터 튜닝과 모델 복잡성은 고전적 및 딥러닝 기반 이상 탐지 방법의 성능에 어떻게 영향을 미치는가?
• RQ4 서브시퀀스 기반 방법은 '급격한 증가' 이상과 '부드럽게 증가'하는 이상을 모두 탐지할 수 있는가? 점 기반 특징 방법과의 탐지 행동 차이는 무엇인가?
• RQ5 어느 방법이 다양한 이상 유형에 대해 가장 강건한가? 어떤 이상 유형은 여전히 모든 모델이 탐지하지 못하는가?

주요 결과

• 고전적 방법인 MDI와 MERLIN이 대부분의 이상 유형과 데이터셋에서 모든 딥러닝 모델을 능가하며, MDI는 전체적으로 가장 높은 F1 점수와 UCR 점수를 기록하였다.
• 딥러닝 모델 중에서는 GANF가 가장 뛰어난 성능을 보였으며, 기본 하이퍼파rameter를 사용할 경우 UCR 점수에서 19% 감소함을 보여주며 하이퍼파라미터 선택의 민감도를 강조하였다.
• RRCF는 원본 점 기반 특징에서는 성능이 열악했지만, 서브시퀀스 기반 통계적 특징을 사용할 경우 성능이 크게 향상되어, 특징 공학이 모델 단순성의 한계를 상쇄할 수 있음을 시사한다.
• AE는 딥러닝 모델 중에서 가장 많은 이상을 탐지했지만, MDI와 MERLIN의 성능에는 못 미치며, 하이퍼파라미터 선택에 민감함을 보였다.
• 모든 서브시퀀스 기반 방법은 '급격한 증가' 이상을 탐지할 수 있었지만 '부드럽게 증가'하는 이상에는 실패하였으며, 반면 점 기반 특징 방법은 반대의 행동을 보여, 탐지 메커니즘에 근본적인 차이가 있음을 시사한다.
• '이상한 패턴', '시간 이동', '역전', '평탄한' 이상 유형은 모든 6개의 모델에서 일관되게 탐지되지 않아, 현재 방법들이 복잡하거나 미세한 시간적 이탈을 다루는 데에 한계가 있음을 시사한다.