[論文レビュー] Conformalized density- and distance-based anomaly detection in time-series data

Evgeny Burnaev, Vladislav Ishimtsev|arXiv (Cornell University)|Aug 16, 2016

Anomaly Detection Techniques and Applications被引用数 24

ひとこと要約

本稿では、1次元時系列データ向けに、特徴抽出、非適合スコアリング、およびコンフォーマル予測フレームワークによる確率的解釈を統合した、密度および距離に基づく異常検出手法のコンフォーマル化を提案する。主な貢献は、ロバストネスと解釈可能性の向上であり、特にKNNおよびLOFベースの手法において、コンフォーマル化が性能を顕著に向上させることを、Numenta Anomaly Benchmark (NAB) で示している。

ABSTRACT

Anomalies (unusual patterns) in time-series data give essential, and often actionable information in critical situations. Examples can be found in such fields as healthcare, intrusion detection, finance, security and flight safety. In this paper we propose new conformalized density- and distance-based anomaly detection algorithms for a one-dimensional time-series data. The algorithms use a combination of a feature extraction method, an approach to assess a score whether a new observation differs significantly from a previously observed data, and a probabilistic interpretation of this score based on the conformal paradigm.

研究の動機と目的

• 従来の異常検出手法におけるモデルの硬直性、ノイズへの感受性、および早期警告機能の欠如といった限界を解消すること。
• LOF や KNN などの伝統的手法が示す高いハイパーパrameter感受性と低い解釈可能性を克服すること。
• パラメトリックでない、確率的に解釈可能な異常検出手法フレームワークを、変化するあるいは複雑な時系列パターンに適用可能なものとして開発すること。
• コンフォーマル予測を統合し、統計的信頼性を伴う有効な被覆保証付きの異常スコア（p値や予測集合）を提供すること。
• Numenta Anomaly Benchmark (NAB) を含む実世界ベンチマーク上で、ハイパーパrameterに感受しやすい手法の性能を向上させること。

提案手法

• 生時系列データを意味のある表現に変換するための特徴抽出を適用する。
• 距離ベース（KNN）および密度ベース（LOF、LoOP）の手法を用い、局所的近傍構造に基づいて初期の異常スコアを計算する。
• 新しい観測値が訓練データに対してどれほど異常であるかを測る非適合尺度を導入する。
• コンフォーマル予測を適用し、原始的な異常スコアを有効で良好にキャリブレーションされたp値または予測集合に変換する。
• コンフォーマル枠組みを用いて、異常スコアに確率的解釈を付与し、不確実性下での信頼性のある意思決定を可能にする。
• NABベンチマークを用いてハイパーパrameterを最適化し、異なるリスクプロファイルに応じたアプリケーション固有のスコアリング重みを適用して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 コンフォーマル化は、時系列データにおける非パラメトリック異常検出のロバストネスと信頼性を向上させることができるか？
• RQ2 コンフォーマル化は、実世界の時系列データにおいて、F1スコアおよび偽陽性率という観点からKNN、LOF、LoOPの性能にどのように影響を与えるか？
• RQ3 Numenta HTM などのモデルベース手法に依存せずに、コンフォーマル化された手法が、モデルベース手法を上回る程度の性能を発揮できるか？
• RQ4 偽陽性や偽陰性をペナルティとして課す異なるスコアリングプロファイルは、最終的な異常検出性能にどのように影響を与えるか？
• RQ5 コンフォーマル化された異常検出手法は、長距離依存性、準周期性、進化的な正常行動を示す多様な時系列においても高い性能を維持できるか？

主な発見

• コンフォーマル化により、LOFおよびKNNベースの手法の性能が顕著に向上し、LOF-ICADは標準プロファイルでNABスコア36.7を達成した（標準LOFでは6.39）。
• KNN-ICADは標準プロファイルでNABスコア57.99を達成し、予測モデリングを用いないにもかかわらず、モデルベースのNumenta HTM（65.3）に近い性能を発揮した。
• LoOP手法は性能が低く（14.63点）、$k$ に非常に感受しやすく、実世界の設定では限界が顕著に現れた。
• 提案手法により偽陽性率が低減された。KNN-ICADは低偽陽性プロファイルで43.41を達成し、誤報の制御が良好であった。
• NABベンチマークの結果から、コンフォーマル化が信頼性とロバストネスを向上させることを示し、早期かつ正確な異常警告を必要とする高リスク応用分野で特に有効であることが明らかになった。
• Twitterのメンション時系列のような複雑なシナリオでも、標準的手法が過剰に偽陽性を発生させるのを、コンフォーマル化が効果的に緩和した。