[논문 리뷰] Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series

Sondre Sørbø, Massimiliano Ruocco|arXiv (Cornell University)|2023. 03. 02.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 시계열 이상 탐지(TSAD) 평가 지표에 대한 종합적인 분류 체계와 평가 프레임워크를 제안하며, 10개의 핵심 성질을 기반으로 20개의 지표를 분석한다. 연구 결과 지표 선택이 방법의 순위 매기기와 성능 평가에 결정적인 영향을 미치며, 잘못된 결론을 유도할 수 있으므로 TSAD 연구 및 응용 분야에서 임의의 지표 선택이 아닌 과업에 맞는 신중한 지표 선정이 필요하다는 것을 입증한다.

ABSTRACT

The field of time series anomaly detection is constantly advancing, with several methods available, making it a challenge to determine the most appropriate method for a specific domain. The evaluation of these methods is facilitated by the use of metrics, which vary widely in their properties. Despite the existence of new evaluation metrics, there is limited agreement on which metrics are best suited for specific scenarios and domain, and the most commonly used metrics have faced criticism in the literature. This paper provides a comprehensive overview of the metrics used for the evaluation of time series anomaly detection methods, and also defines a taxonomy of these based on how they are calculated. By defining a set of properties for evaluation metrics and a set of specific case studies and experiments, twenty metrics are analyzed and discussed in detail, highlighting the unique suitability of each for specific tasks. Through extensive experimentation and analysis, this paper argues that the choice of evaluation metric must be made with care, taking into account the specific requirements of the task at hand.

연구 동기 및 목표

• 시계열 이상 탐지(TSAD) 평가 지표 선택에 대한 공감대 형성과 체계적인 이해 부족 문제를 해결하기 위해.
• 다양한 상황에 적합한 지표의 적합성을 좌우하는 기존 TSAD 평가 지표의 핵심 성질을 식별하고 분석하기 위해.
• 계산 방법에 기반한 체계적인 분류 체계를 제안하여 지표 선택의 비교 가능성과 투명성을 향상시키기 위해.
• 가상의 사례 연구를 통해 지표 선택이 미치는 영향을 평가하여, 동일한 예측 결과에 대해 다양한 지표가 매우 다를 수 있는 순위를 부여할 수 있음을 드러내기 위해.
• 실제 응용 요구사항인 조기 탐지, 이상 지속 시간, 진도와의 근접성 등과 지표의 행동을 연결하여 연구자와 실무자들이 적절한 지표를 선택하도록 안내하기 위해.

제안 방법

• 계산 방법에 기반해 20개의 TSAD 평가 지표에 대한 신규 분류 체계를 제안하여 체계적인 비교를 가능하게 한다.
• 각 지표의 행동를 기술하기 위해 시간 인식성, 임계값 필요성, 불균형에 대한 무관성 등 10개의 핵심 성질을 정의한다.
• 특정 예측 패턴(예: 장기 대비 단기 이상, 부분적 탐지 등)에 대해 각 지표가 어떻게 반응하는지 테스트하기 위해 10개의 가상 사례 연구를 수행한다.
• 합성 및 실제 데이터 레이블링 패턴(예: 무작위 노이즈 예측 등 극단 케이스 포함)을 사용해 지표를 분석한다.
• 사례 연구 전반에 걸쳐 정량적 점수를 사용해 지표의 선호도 및 한계를 분류한다.
• 기존에 널리 사용되는 지표들(P W f β, AUCROC, P Af β 등)과 신규 또는 덜 알려진 지표들(NAB, biasRfαβ, Tafδβ 등)을 비교하여 일관성 없는 점과 결함을 드러낸다.

실험 결과

연구 질문

• RQ1 시계열에서 장기 또는 단기 이상 사건을 탐지하기 위해 가장 적절한 평가 지표는 무엇인가?
• RQ2 예측이 부분적으로 정확하거나 시간적으로 일치하지 않을 경우, 다양한 지표는 어떻게 반응하는가?
• RQ3 지표 선택이 벤치마킹에서 TSAD 알고리즘의 순위에 얼마나 큰 영향을 미치는가?
• RQ4 어떤 지표는 시간적 근접성 또는 조기 탐지에 민감한가, 어떤 지표는 그렇지 않은가?
• RQ5 왜 일부 지표는 정보가 없는 예측(예: 무작위 노이즈)에 대해 잘못된 높은 점수를 부여하는가, 이를 어떻게 방지할 수 있는가?

주요 결과

• 평가 지표 선택이 TSAD 방법의 순위에 상당한 영향을 미치며, 일부 지표는 허위 예측 패턴에 유리하게 작용할 수 있다.
• P Af β 및 P W f β와 같은 지표는 장기 이상의 일부 단일 세그먼트만 탐지하는 등 시간 또는 지속 시간 측면에서 잘못된 예측에 대해서도 높은 점수를 부여할 수 있다.
• biasRfαβ 및 Tafδβ와 같은 일부 지표는 파라미터 설정에 민감하며 설정에 따라 일관되지 않은 결과를 낼 수 있다.
• AUCROC 및 AUCPR과 같은 지표는 불균형에 무관하며 임계값이 필요하지 않지만, 시간적 정렬 문제를 간과할 수 있다.
• P@K 지표는 예측 순서에 특히 민감하며, 조기 탐지가 가치가 있음에도 불구하고 이를 제재할 수 있다.
• 단일 지표가 언제나 적합한 것은 아니며, 가장 적절한 지표는 조기 탐지 또는 진짜 이상과의 근접성과 같은 특정 과업 요구사항에 따라 달라진다.