[論文レビュー] Precision and Recall for Range-Based Anomaly Detection

Tae J. Lee, Justin Gottschlich+3 more|arXiv (Cornell University)|Jan 9, 2018

Anomaly Detection Techniques and Applications参考文献 7被引用数 10

ひとこと要約

本論文は、連続する時間間隔をカバーする範囲ベースの異常（範囲にまたがるイベント）に特化した、精度と再現率のための新しい数学的枠組みを提案する。従来の指標を拡張し、重なりの大きさ、位置バイアス、予測の基数をカスタマイズ可能な関数を通じて統合することで、時間系列異常検出システムの評価をより良く行う。ストリーミングおよびリアルタイム応用における精度の高い評価を可能にする。

ABSTRACT

Classical anomaly detection is principally concerned with point-based anomalies, anomalies that occur at a single data point. In this paper, we present a new mathematical model to express range-based anomalies, anomalies that occur over a range (or period) of time.

研究の動機と目的

• 範囲ベースの異常（点ではなく時間間隔にわたる）の評価において、従来の精度と再現率の不適切さを是正すること。
• 古典的な点ベースの指標を包含するが、カスタマイズ可能なドメイン特有の挙動をサポートする形式的な数学的モデルを開発すること。
• 異常が期間にわたって現れるリアルタイムおよびストリーミング環境において、異常検出システムの正確な評価を可能にすること。
• 重なりの大きさ、位置バイアス、予測基数に対する調整可能な関数を提供し、アプリケーション固有の優先順位を反映させること。

提案手法

• すべての実際の異常範囲 $R_i$ に対して存在と重なりの報酬の重み付き和を計算する新しい再現率の定式化 $Recall_T(R,P)$ を提案する。
• 1つの実際の範囲に複数の予測範囲が重複するのを罰するための基数要因 $\gamma(R_i, P)$ を導入し、$\gamma$ はアプリケーションのニーズに合わせてカスタマイズ可能である。
• 位置バイアス関数 $\delta(i, \text{length})$ を用いて、重なり内の早期、遅刻、または均等な位置を強調する重なりの大きさ報酬 $\omega(R_i, R_i \cap P_j, \delta)$ を定義する。
• 同様の原則を精度に対しても適用し、$Precision_T(R,P)$ を用いて各予測範囲 $P_i$ をすべての実際の範囲 $R_j$ に対して評価する。この際、基数要因と重なり報酬を用いる。
• 重なりの大きさ、位置、予測の重複に対する感受性をドメイン特有に調整できるように、$\omega$, $\gamma$, $\delta$ のカスタマイズ可能な関数を用いる。
• すべての異常が単一の点範囲であり、フラットなバイアスが使用される場合に、従来の精度と再現率に還元されるように、後方互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、複数の時間ポイントにわたる範囲ベースの異常を評価するための古典的な精度と再現率の指標を拡張できるか？
• RQ2 重なりの大きさ、異常内での位置、予測の基数を考慮する再現率指標の主要な構成要素は何か？
• RQ3 予測範囲全体の質を反映するように、範囲ベースの予測のための精度をどのように再定義できるか？
• RQ4 新しい指標は、早期検出や均等なカバーといったドメイン特有の優先順位を反映するために、どのような方法でカスタマイズ可能か？
• RQ5 提案された枠組みは、古典的な点ベースの指標をどれほど一般化し、より洗練された異常評価を可能にするか？

主な発見

• 提案された $Recall_T$ および $Precision_T$ 指標は、古典的な精度と再現率を一般化しており、異常範囲が単一の点であり、フラットなバイアスが使用される場合にそれらに還元される。
• 基数要因 $\gamma(R_i, P)$ の導入により、1つの実際の異常を複数の予測範囲に分割するシステムに対する罰則が可能となり、評価の正確性が向上する。
• 位置バイアス関数 $\delta$（フラット、フロントエンド、テールエンド）により、早期検出や遅刻検出に対するドメイン特有の強調が可能であり、がん検出やリアルタイムシステムにおける例が示されている。
• 重なりの大きさ関数 $\omega$ により、正しく予測された実際の異常の割合に基づいた細かい報酬が可能であり、値は [0,1] に正規化される。
• 会議の制約により実証的検証は省略されたが、本フレームワークは多様なアプリケーション分野に広く一般化可能で、カスタマイズ可能に設計されている。
• 独立して $\alpha$, $\beta$, $\gamma$, $\omega$, $\delta$ を調整可能な多変数のカスタマイズにより、ドメイン特有の異常検出の優先順位に一致する。