[論文レビュー] Conformal k-NN Anomaly Detector for Univariate Data Streams

Vladislav Ishimtsev, Ivan Nazarov+2 more|arXiv (Cornell University)|Jun 11, 2017

Anomaly Detection Techniques and Applications参考文献 1被引用数 26

ひとこと要約

本論文は、スライディングウィンドウを用いて非定常性に適応するunivariate時系列のための、適合性のあるk-NN異常検出器を提案し、適合性予測を用いて確率的異常度スコアを提供する。Numenta Anomaly BenchmarkおよびYahoo! S5データセットにおいて、最先端の性能を達成し、複雑な予測ベースのモデルを上回り、2016年Numentaコンペティションで3位を獲得した。

ABSTRACT

Anomalies in time-series data give essential and often actionable information in many applications. In this paper we consider a model-free anomaly detection method for univariate time-series which adapts to non-stationarity in the data stream and provides probabilistic abnormality scores based on the conformal prediction paradigm. Despite its simplicity the method performs on par with complex prediction-based models on the Numenta Anomaly Detection benchmark and the Yahoo! S5 dataset.

研究の動機と目的

• 非定常性に適応可能で、確率的異常度スコアを提供する、モデルフリーなunivariate時系列のための異常検出手法の開発。
• 従来の距離ベースおよび予測ベースの手法の限界を克服するため、有効で非パラメトリックな信頼区間測定を提供する適合性予測を統合すること。
• 準周期性、非定常性、長距離依存性を示す現実世界のデータストリームにおける検出性能の向上。
• Numenta Anomaly BenchmarkおよびYahoo! S5データセットといった厳格なベンチマークにおいて、現実的なコスト関数のもとで手法の妥当性を検証すること。
• ニューラルネットワークやコルティカルメモリシステムといった複雑なモデルと同等の性能を発揮できる、シンプルなk-NNアプローチに適合性スコアを組み合わせた手法の有効性を示すこと。

提案手法

• 時間系列を長さlのスライディングウィンドウを用いて高次元空間に埋め込むことで、k-NNが順序付きパターンを処理できるようにする。
• 適合性予測を用いて、キャリブレーションセットに基づく非パラメトリックなp値（非適合度スコア）を計算し、異常度に対する有効で確率的な信頼性を提供する。
• 局所密度信頼度（LDCD）スコアは、非適合度スコアの経験的分布から導出され、分布に配慮した頑健な異常度測定を提供する。
• 動的範囲（DynR）ヒューリスティックは比較のためのベースラインとして用いられ、確率的保証なしに再構築誤差の単純なスケーリングに依存する。
• 事後的に信号のプリーニングを適用し、特にベースラインk-NN検出器が過敏である場合の誤検出を低減する。
• 遅延スコアリングを用いて、最近の観測値のスライディングウィンドウを維持することで、コンセプトドリフトに適応する。

実験結果

リサーチクエスチョン

• RQ1 シンプルなk-NNモデルに適合性予測を組み合わせることで、非定常なunivariate時系列において信頼性があり、確率的に有効な異常度スコアを提供できるか？
• RQ2 現実世界の異常検出ベンチマークにおいて、適合性k-NNの性能は複雑な予測ベースのモデルと比べてどうか？
• RQ3 LDCD信頼度スコアは、確率的有効性を欠き、極端値のみを考慮するヒューリスティック（DynR）と比べて、検出性能をどの程度向上させるか？
• RQ4 信号プリーニングは、適合性k-NNフレームワークにおいて、偽陽性を効果的に低減できるか、同時に偽陰性を増加させないか？
• RQ5 重複する埋め込みベクトルによる時系列におけるi.i.d.仮定の破れが、適合性スコアの有効性に与える影響は何か？

主な発見

• 適合性k-NN検出器は、Yahoo! S5データセットで標準スコア64.3、Numentaデータセットで56.8を達成し、ベースラインDynRおよび他の複雑なモデルを上回った。
• 信号プリーニングを適用した27-NN（l=19、LDCDスコア）は、Yahoo! S5で標準スコア64.3、Numentaで56.8を達成し、2016年Numenta異常検出コンペティションで3位を獲得した。
• LDCD信頼度スコアは、確率的有効性を欠き、極端値のみを考慮するDynRヒューリスティックと比べて、ベンチマークパフォーマンスを顕著に向上させた。
• k=1かつ埋め込みなし（l=1）の状態でも、LDCDベースのk-NNは、Yahoo! S5で標準スコア46.9、Numentaで53.5を達成し、アラームの希釈なしで頑健であることを示した。
• 本手法は、偽陰性率および偽陽性率が低く、両データセットでLowFNおよびLowFPスコアが常に50以上を維持しており、強力な異常カバレッジと精度を示した。
• 結果から、LDCD手順の理論的有効性が実際の状況でも成立することが示唆されたが、重複する時系列埋め込みによるi.i.d.仮定の破れの影響については、さらなる研究が必要である。