[論文レビュー] MOSPAT: AutoML based Model Selection and Parameter Tuning for Time Series Anomaly Detection

Sourav Chatterjee, Rohan Bopardikar+3 more|arXiv (Cornell University)|May 24, 2022

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

MOSPATは、教師なし状態における時系列異常検出のためのAutoMLフレームワークを提案する。本手法は、実際のラベルが存在しない状況において、生成モデルを用いて合成ラベル付きデータを生成することで、モデルおよびハイパーパramータの自動選択を実現する。合成データおよび実世界のデータセットにおいて、専門家の介入なしに一貫して優れたFスコアを達成し、個々のアルゴリズムを常に上回る性能を発揮する。

ABSTRACT

Organizations leverage anomaly and changepoint detection algorithms to detect changes in user behavior or service availability and performance. Many off-the-shelf detection algorithms, though effective, cannot readily be used in large organizations where thousands of users monitor millions of use cases and metrics with varied time series characteristics and anomaly patterns. The selection of algorithm and parameters needs to be precise for each use case: manual tuning does not scale, and automated tuning requires ground truth, which is rarely available. In this paper, we explore MOSPAT, an end-to-end automated machine learning based approach for model and parameter selection, combined with a generative model to produce labeled data. Our scalable end-to-end system allows individual users in large organizations to tailor time-series monitoring to their specific use case and data characteristics, without expert knowledge of anomaly detection algorithms or laborious manual labeling. Our extensive experiments on real and synthetic data demonstrate that this method consistently outperforms using any single algorithm.

研究の動機と目的

• 大規模組織における多様な時系列データに対して、専門知識やラベル付きデータが存在しない状況でも、最適な異常検出アルゴリズムとパラメータを選択する課題に対処すること。
• 個々のユーザーが自身のデータ特性に合わせて効果的な監視を設定できる、スケーラブルで自動化されたシステムの開発。
• 実世界の時系列データにおける教師データの欠如を克服するため、実際のデータ分布を模倣する合成ラベル付き異常データを生成すること。
• AutoMLアプローチが、さまざまなデータタイプおよび異常パターンにおいて、個々の最先端の異常検出アルゴリズムを常に上回ることを示すこと。

提案手法

• 生成モデルが、スパイク、レベルシフト、トレンドシフトの3種類の異常をラベルなし時系列データに挿入し、合成ラベル付き学習データを生成する。
• 自己相関、尖度、トレンド強度などの時系列特徴量を抽出し、各時系列をモデル入力として表現する。
• これらの特徴量に基づいて、最適な異常検出アルゴリズムとハイパーパramータの組み合わせを予測する教師あり学習モデルを訓練する。
• 評価と選択のため、BOCPD、Outlier、Prophet、MKDetectorなど8種類のベースラインアルゴリズムのキュレート済みセットを用いる。
• 本システムは、ヒューマンアクティビティ認識やシステム監視など、多様な分野からの合成データおよび実世界のデータセットを用いて評価される。
• 性能のさらなる向上を図るため、AutoMLパイプラインにハイパーパramータチューニングを適用しており、今後の拡張ではベイズ最適化が用いられる。

実験結果

リサーチクエスチョン

• RQ1 教師データが存在しない状況において、AutoMLシステムが時系列データに対して最適な異常検出アルゴリズムとパラメータを効果的に推薦できるか。
• RQ2 生成モデルが、ラベルなしデータにおける教師あり学習を可能にするために、現実の時系列および異常パターンをどれほど正確に模倣できるか。
• RQ3 AutoMLアプローチが、多様なデータ分布および異常タイプにおいて、一貫して個々の最先端の異常検出アルゴリズムを上回る性能を発揮するか。
• RQ4 AutoMLシステムの性能が、合成データ、注入済み異常を含む実データ、自然な異常を含む実データの各状況にどれほど一般化できるか。

主な発見

• 合成データでは、最適化されたハイパーパramータを用いたAutoMLアプローチがFスコア0.498を達成し、次に優れたベースライン（Outlier：0.287）を顕著に上回った。
• 注入済み異常を含む実世界データでは、AutoMLがFスコア0.498を達成し、BOCPD（0.352）およびMKDetector（0.468）を上回り、複雑な分布に対しても頑健であることが示された。
• 自然な異常を含む実データでは、ランダムなハイパーパramータ設定下でもAutoMLがFスコア0.415を維持し、すべての個別アルゴリズムを上回った。
• 生成モデルは、実データと類似した分布を持つ合成データを効果的に生成できており、実データが存在しない領域に対しても同様に有効であることが示され、広範な異常カバレッジを実現した。
• 特定のアルゴリズムがすべてのデータタイプで一貫して優れていたわけではなく、Outlierは合成データで優れた性能を示し、BOCPDは注入済み実データで、MKDetectorは自然な実データで優位であった。これは、適応的選択の必要性を示している。
• AutoMLは、すべての評価シナリオにおいて、個々のアルゴリズムを一貫して上回り、実世界の教師なし環境においても有効性を実証した。