[論文レビュー] Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series

Sondre Sørbø, Massimiliano Ruocco|arXiv (Cornell University)|Mar 2, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿は、時系列異常検出（TSAD）メトリクスの包括的な分類体系と評価フレームワークを提案し、10の主要な特性を有する20のメトリクスを分析する。メトリクス選択が手法の順位付けや性能評価に顕著に影響することを示し、誤った結論を避けるために、研究および応用において注意深く、タスク固有のメトリクス選択を行うべきであると提言する。

ABSTRACT

The field of time series anomaly detection is constantly advancing, with several methods available, making it a challenge to determine the most appropriate method for a specific domain. The evaluation of these methods is facilitated by the use of metrics, which vary widely in their properties. Despite the existence of new evaluation metrics, there is limited agreement on which metrics are best suited for specific scenarios and domain, and the most commonly used metrics have faced criticism in the literature. This paper provides a comprehensive overview of the metrics used for the evaluation of time series anomaly detection methods, and also defines a taxonomy of these based on how they are calculated. By defining a set of properties for evaluation metrics and a set of specific case studies and experiments, twenty metrics are analyzed and discussed in detail, highlighting the unique suitability of each for specific tasks. Through extensive experimentation and analysis, this paper argues that the choice of evaluation metric must be made with care, taking into account the specific requirements of the task at hand.

研究の動機と目的

• 時系列異常検出（TSAD）の評価メトリクス選定に関する合意形成の欠如と体系的理解の不足を是正すること。
• 異なる状況に適したメトリクスの適性に影響を与える、既存のTSAD評価メトリクスの主要な特性を特定・分析すること。
• 計算手法に基づく構造的な分類体系を提供し、メトリクス選択の比較可能性と透明性を向上させること。
• 仮想の事例研究を通じてメトリクス選択の影響を評価し、同じ予測結果に対して異なるメトリクスが著しく異なる順位を付けることを見出すこと。
• 早期検出、異常長、近接性といった実世界の要件とメトリクスの挙動を結びつけることで、研究者および実務家が適切なメトリクスを選定できるようにガイドすること。

提案手法

• 計算手法に基づき、20のTSAD評価メトリクスの新規分類体系を提案し、体系的な比較を可能にする。
• 各メトリクスの挙動を特徴付ける10の主要な特性（例：時刻に依存する、閾値の必要性、不均衡に無関心）を定義する。
• 特定の予測パターン（例：長時間異常対比短時間異常、部分的検出）に応じて、10の仮想的ケーススタディを実施し、各メトリクスの反応をテストする。
• 合成および実世界のラベルパターン（例：ランダムノイズ予測のようなエッジケースを含む）を用いてメトリクスを分析する。
• ケーススタディ全体を通じた定量的スコアリングを実施し、メトリクスの好ましさと限界を分類する。
• 一般的に使用されるメトリクス（例：P W f β、AUCROC、P Af β）と、新しいまたはあまり使われないメトリクス（例：NAB、biasRfαβ、Tafδβ）を比較し、一貫性の欠如や欠陥を浮き彫りにする。

実験結果

リサーチクエスチョン

• RQ1 時系列において長時間または短時間の異常イベントを検出するには、どの評価メトリクスが最も適切か？
• RQ2 部分的に正しいまたは時刻的にずれた予測に対して、異なるメトリクスはどのように反応するか？
• RQ3 メトリクスの選択がベンチマークにおけるTSADアルゴリズムの順位付けにどの程度影響を及えるか？
• RQ4 どのメトリクスが時間的近接性や検出の早期性に敏感で、どのメトリクスが無関心か？
• RQ5 なぜ一部のメトリクスは情報のない予測（例：ランダムノイズ）に対して誤って高いスコアを出すのか？また、これを回避するにはどうすればよいか？

主な発見

• 評価メトリクスの選択がTSAD手法の順位付けに顕著な影響を与えることが判明し、一部のメトリクスは誤った予測パターンを好む傾向がある。
• P Af β や P W f β などのメトリクスは、タイミングや継続時間に誤りがある予測（例：長時間異常の一部しか検出しない）に対しても高いスコアを出すことがある。
• biasRfαβ や Tafδβ のようなメトリクスはパラメータ設定に敏感で、設定によって結果が一貫性のない場合がある。
• AUCROC や AUCPR は不均衡に無関心であり、閾値が不要であるが、時間的整合性の問題には無関心であることがある。
• P@K メトリクスは予測の順序に特に敏感であり、早期検出であってもペナルティを課すことがある、すなわち早期検出の価値を損なうことがある。
• どのメトリクスも普遍的に適切ではない。最も適切なメトリクスは、早期検出や真の異常との近接性といった、具体的なタスク要件に依存する。