[論文レビュー] On the Runtime-Efficacy Trade-off of Anomaly Detection Techniques for Real-Time Streaming Data

Dhruv Choudhary, Arun Kejariwal+1 more|arXiv (Cornell University)|Oct 12, 2017

Anomaly Detection Techniques and Applications参考文献 81被引用数 15

ひとこと要約

この論文は、実機と本番環境のデータセットを用いて、リアルタイムストリーミングデータ向けの20種類以上の異常検出手法を評価し、実行時効率と精度のトレードオフを提示するフレームワークを提案している。低遅延要件下での最適な手法を特定し、10ms未塔の遅延ではマイクロクラスタリング（例：DBStream）が優れた性能を示す一方、1ms未塔の要件には単純な統計的手法（例：med-mad）が適していることを示している。

ABSTRACT

Ever growing volume and velocity of data coupled with decreasing attention span of end users underscore the critical need for real-time analytics. In this regard, anomaly detection plays a key role as an application as well as a means to verify data fidelity. Although the subject of anomaly detection has been researched for over 100 years in a multitude of disciplines such as, but not limited to, astronomy, statistics, manufacturing, econometrics, marketing, most of the existing techniques cannot be used as is on real-time data streams. Further, the lack of characterization of performance -- both with respect to real-timeliness and accuracy -- on production data sets makes model selection very challenging. To this end, we present an in-depth analysis, geared towards real-time streaming data, of anomaly detection techniques. Given the requirements with respect to real-timeliness and accuracy, the analysis presented in this paper should serve as a guide for selection of the "best" anomaly detection technique. To the best of our knowledge, this is the first characterization of anomaly detection techniques proposed in very diverse set of fields, using production data sets corresponding to a wide set of application domains.

研究の動機と目的

• リアルタイムストリーミング環境における異常検出手法の実効的特性評価が、遅延と精度の両面で不足しているという問題に対処すること。
• 統計、時系列、パターンマイニング、機械学習を網羅する多様な異常検出手法を、実機と本番環境のデータセットを用いて評価すること。
• アプリケーション固有の遅延要件とデータ特性に基づいて、最適な異常検出手法を選定する実用的フレームワークを確立すること。
• 高速度データストリームにおける1ミリ秒未塔の遅延制約を満たすために、既存の最先端手法に課される制限を特定すること。
• 金融、医療、IoTなどの異なるアプリケーション分野において、実効的評価に基づいたモデル選定のための実用的提案を提供すること。

提案手法

• 本研究では、20種類以上の異常検出手法を、手法タイプ、データタイプ、パフォーマンス指標（適合率、再現率、F1スコア）、実行時間、頑健性、最新性、スケーラビリティの7つの次元で評価している。
• 実験は、金融、医療、IoT、広告など多様な分野の25のリアルタイムストリーミングデータセットを用い、実機上で実行時間を正確に測定し、検出精度を評価している。
• 手法は統計的（例：mu-sigma、med-mad）、時系列（例：STL、SARMA、SDAR）、パターンマイニング（例：HOTSAX、RRA、DenStream）、機械学習（例：IForest、PCA、RobustPCA）の4つのファミリーに分類されている。
• F1スコアと検出遅延をプロットすることで、実行時効率と精度のトレードオフを可視化するマップを構築し、手法間の視覚的・定量的比較を可能にしている。
• 実効的結果に基づき、アプリケーション分野と遅延階層（例：1ms未塔、1–10ms、10ms超）ごとにモデル選定の助言を導出している。
• 誤検出を低減するための事後処理を検討しており、特にDBStreamのような高速手法と併用する際に、HOTSAXのような高精度手法の性能を向上させることを目的としている。

実験結果

リサーチクエスチョン

• RQ1 本番システムのリアルタイムストリーミングデータにおいて、実行時効率と検出精度のバランスを最も良く達成する異常検出手法は何か？
• RQ2 異なる遅延要件（例：1ms未塔、1–10ms、10ms超）の下で、実機環境におけるさまざまな異常検出手法の性能はどのように異なるか？
• RQ3 特定の異常検出手法の性能に影響を与える主要なデータ特性（例：レベルシフト、分散の変化、季節性）は何か？
• RQ4 HOTSAX や IForest といった手法が、ECG や広告分野で優れた性能を発揮する理由は何か、にもかかわらず遅延が高いためか？
• RQ5 DBStream や DenStream といった高速手法が、HOTSAX や IForest よりも複雑な手法に匹敵する精度を達成できる範囲はどの程度か、かつ厳密なリアルタイム制約を満たすことができるか？

主な発見

• マイクロクラスタリング手法（例：DBStream や DenStream）は、1–10ms の遅延制約下で10ms未塔の検出遅延を達成し、F1スコアの観点で他の大多数の手法を上回っている。
• 1ms未塔の遅延要件には、med-mad や SDAR といった単純な統計的手法が最適であり、特にレベルシフトや分散の変化を示す時系列データに適している。
• HOTSAX は心電図（ECG）データにおける異常検出で高い精度を発揮するが、検出遅延が100msを超えており、リアルタイムECGモニタリングの10ms目標を大きく上回っている。
• DBStream はECGデータにおいてHOTSAXと同一の異常セットを検出可能であり、5–10msの遅延で動作するが、誤検出がやや多い。これは事後処理により是正可能である。
• 異常発生頻度が低い金融およびIoTアプリケーションでは、1–10msの遅延要件に対してt-digest や DBStream が最適であり、ユニークで稀な異常を有するデータセットではHOTSAXが最良である。
• 医療データの<1ms遅延要件を満たす手法は、評価された中で存在せず、高速度医療ストリームにおけるリアルタイム異常検出における深刻なギャップを示している。