[논문 리뷰] Unsupervised Model Selection for Time-series Anomaly Detection

Mononito Goswami, Cristian Challú외 3명|arXiv (Cornell University)|2022. 10. 03.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

이 논문은 레이블이 없는 이상 탐지 모델을 선정하기 위해 예측 오차, 모델 중심성, 그리고 주입된 합성 이상 현상에서의 성능이라는 세 가지 유형의 대체 지표를 활용하는 비지도 모델 선택 프레임워크를 제안한다. 이 방법은 레이블이 없는 이상 현상이 필요 없이 후보 모델들을 순위 매기는 데 성공한다. 강력한 순위 집계 기법인 경험적 영향(EMPIRICAL INFLUENCE)을 사용하여 이 불완전한 지표들을 조합함으로써, 275개의 다양한 시계열 데이터셋에서 부분적으로 레이블이 부여된 데이터를 사용한 모델 선택 성능과 비교할 만한 성능을 달성한다.

ABSTRACT

Anomaly detection in time-series has a wide range of practical applications. While numerous anomaly detection methods have been proposed in the literature, a recent survey concluded that no single method is the most accurate across various datasets. To make matters worse, anomaly labels are scarce and rarely available in practice. The practical problem of selecting the most accurate model for a given dataset without labels has received little attention in the literature. This paper answers this question i.e. Given an unlabeled dataset and a set of candidate anomaly detectors, how can we select the most accurate model? To this end, we identify three classes of surrogate (unsupervised) metrics, namely, prediction error, model centrality, and performance on injected synthetic anomalies, and show that some metrics are highly correlated with standard supervised anomaly detection performance metrics such as the $F_1$ score, but to varying degrees. We formulate metric combination with multiple imperfect surrogate metrics as a robust rank aggregation problem. We then provide theoretical justification behind the proposed approach. Large-scale experiments on multiple real-world datasets demonstrate that our proposed unsupervised approach is as effective as selecting the most accurate model based on partially labeled data.

연구 동기 및 목표

• 레이블이 없는 시계열 데이터셋에 대해 가장 정확한 이상 탐지 모델을 선택하는 데 실용적인 과제를 해결한다.
• 실제 응용에서 이상 현상 레이블의 부족과 높은 비용 문제를 해결한다.
• 레이블이 없는 데이터만을 사용하여 후보 모델을 순위 매길 수 있는 신뢰할 수 있는 비지도 방법을 개발한다.
• 대체 지표가 F1 점수와 같은 감독 학습 성능 지표를 효과적으로 근사할 수 있음을 보여준다.
• 이론적으로 탄탄한 강력한 집계 방법을 제공하여 다수의 불완전한 대체 순위를 통합한다.

제안 방법

• 예측 오차(재구성 오차), 모델 중심성(Borda 수를 기반으로 함), 그리고 합성 이상 현상에서의 성능이라는 세 가지 비지도 대체 지표 클래스를 식별한다.
• 각 대체 지표에 기반해 모델 순위를 계산하며, 각 지표를 모델 성능의 순열로 간주한다.
• 경험적 영향(Empirical Influence, EI)을 사용한 강력한 순위 집계 기법을 적용하여 다수의 순위를 하나의 안정된 모델 선택 순서로 통합한다.
• Kemeny-Young 문제에서 중심 순서를 향한 안정성 향상을 위해 Borda 수를 중심 순서의 대체로 사용한다.
• 입력 순위들에 대한 평균 Kendall 타우 거리 최소화로 집계를 수식화하며, EI는 각 순위의 영향력을 측정한다.
• 이론적 근거에 따르면 EI는 불완전한 지표, 특히 하나 이상의 열악한 순위가 존재할 경우에 유용하게 작용하며, 이는 불신뢰할 수 있는 지표를 식별하고 낮추는 데 기여한다.

실험 결과

연구 질문

• RQ1 레이블이 없을 경우, 비지도 대체 지표가 표준 감독 학습 이상 탐지 성능(예: F1 점수)과 강하게 상관관계를 가지는가?
• RQ2 여러 개의 불완전한 대체 지표를 어떻게 통합하여 신뢰할 수 있는 모델 선택 순위를 도출할 수 있는가?
• RQ3 제안된 강력한 순위 집계 방법은 실질적으로 부분 레이블링에 기반한 선택보다 뛰어나거나 동등한가?
• RQ4 예측 오차, 중심성, 합성 이상 현상 등의 서로 다른 대체 지표 클래스는 모델 선택 정확도에 어떻게 기여하는가?
• RQ5 이 방법은 다양한 도메인에서 유래한 다양한 실제 시계열 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 비지도 모델 선택 방법은 부분적으로 레이블이 부여된 데이터를 사용한 최적 모델 선택 성능과 비교해 유사한 성능을 달성한다.
• 예측 오차 및 주입된 합성 이상 현상에서의 성능과 같은 대체 지표는 F1 점수와 강한 상관관계를 보이며, 모델 중심성은 안정적인 집계를 제공한다.
• 경험적 영향(EI)은 특히 한 지표가 심각하게 손상된 경우에 불신뢰할 수 있는 순위를 효과적으로 식별하고 낮춘다.
• 이 방법은 의료, 스포츠, 곤충학을 포함한 10개의 다양한 실제 시계열 데이터셋에서 일반화되며, 5,000개 이상의 모델이 훈련되어 평가되었다.
• 이론적 분석은 EI가 불완전한 지표에 대해 강건하며, 중심 순서에 가까운 순위를 선호함을 확인한다.
• 집계 메커니즘이 내재된 내성적 저항성 덕분에, 개별 지표가 노이즈가 있거나 부분적으로 상관관계가 있어도 이 방법은 효과적이다.