[論文レビュー] Statistical Evaluation of Anomaly Detectors for Sequences

Erik Scharwächter, Emmanuel Müller|arXiv (Cornell University)|Aug 13, 2020

Anomaly Detection Techniques and Applications参考文献 21被引用数 5

ひとこと要約

本稿では、時系列データにおけるポイントベースの異常検出のための時間的許容を伴う精度と再現率の測定法を導入し、誤差行列に時間的許容を組み込むことで、現実の検出遅延をより適切に反映する。シミュレーションにより、標準的な精度と再現率は性能を過大評価する可能性があることが示され、誤差の統計的有意性を評価するためのモンテカルロノイド分布を提案。パーミュテーションテストにおいて、観測結果のp < 0.0001が得られた。

ABSTRACT

Although precision and recall are standard performance measures for anomaly detection, their statistical properties in sequential detection settings are poorly understood. In this work, we formalize a notion of precision and recall with temporal tolerance for point-based anomaly detection in sequential data. These measures are based on time-tolerant confusion matrices that may be used to compute time-tolerant variants of many other standard measures. However, care has to be taken to preserve interpretability. We perform a statistical simulation study to demonstrate that precision and recall may overestimate the performance of a detector, when computed with temporal tolerance. To alleviate this problem, we show how to obtain null distributions for the two measures to assess the statistical significance of reported results.

研究の動機と目的

• 時系列データにおけるポイントベースの異常検出に対して、時間的許容を組み込んだ精度と再現率の形式的定式化を目的とする。
• 時系列検出におけるタイミングのずれによって、標準的な精度と再現率が検出器の性能を過大評価するリスクに対処することを目的とする。
• モンテカルロシミュレーションを用いて、報告された精度と再現率の有意性を評価する統計的フレームワークを構築・検証することを目的とする。
• ノイズのない状態（予測と真値の間に相関がない）の下で、真陽性のノイド分布が再現率に関してはほぼ二項分布に従うが、精度に関しては過分散を示すことが示され、より洗練された解析的モデルの必要性が示唆される。

提案手法

• 予測された異常と真値の異常との一致を時間窓δ内に許容する時間的許容を伴う誤差行列を提案する。
• 時間的許容を伴う精度と再現率を、それぞれδ内での真陽性数を予測異常総数および実際の異常総数で割ったものとして定義する。
• 真値のシーケンスをランダムにパーミュテーションしたモンテカルロシミュレーションを用いて、真陽性数のノイド分布を生成する。
• モンテカルロp値を、観測値以上に真陽性数をとったシミュレーションの割合として計算する。
• 二項分布の仮定に基づく解析的ノイド分布を導出し、シミュレーションの実測結果と比較する。
• 実世界の地震検出のユースケースを用いて、Twitterデータとエネルギー遷移スコアを用いて、手法の評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 時系列異常検出において、時間的許容を組み込んだ精度と再現率をどのように意味的に再定義できるか？
• RQ2 タイミングのずれが存在する状況で、標準的な精度と再現率が検出器の性能をどの程度過大評価する可能性があるか？
• RQ3 予測と真値の間に相関がないという帰無仮説の下で、時間的許容を伴う精度と再現率の統計的挙動はいかなるものか？
• RQ4 ランダムパーミュテーションの下で、真陽性数のノイド分布は二項分布で十分に近似できるか？
• RQ5 時系列異常検出において、報告された精度と再現率の統計的有意性をどのように厳密に評価できるか？

主な発見

• 時間的許容を伴う精度と再現率は、統計的有意性のテストを実施しない限り、中程度の時間的許容（δ = 2）ですでに検出器の性能を著しく過大評価する可能性がある。
• 観測された精度と再現率のモンテカルロp値はp < 0.0001であり、地震検出のケーススタディにおいて高い統計的有意性を示した。
• ランダムパーミュテーションの下で、再現率の真陽性ノイド分布は二項分布に非常によく従う。
• 精度の真陽性ノイド分布は二項モデルに対して過分散を示しており、より洗練された解析的モデルの必要性が示唆された。
• 提示された手法により、パーミュテーションに基づくp値を用いて、信号と偶然の区別を明確にすることで、異常検出器の性能を信頼できる方法で評価できるようになった。