[論文レビュー] Automated Model Selection for Time-Series Anomaly Detection

Yuanxiang Ying, Juanyong Duan+4 more|arXiv (Cornell University)|Aug 25, 2020

Anomaly Detection Techniques and Applications参考文献 17被引用数 5

ひとこと要約

本論文は、入力時系列特徴に基づいて動的に最も適した非教師あり異常検出モデルとその最適なハイパーパrameterを選択する、時系列異常検出のための自動モデル選択フレームワークを提案する。このシステムは特徴抽出パイプライン、モデルセレクタ、パラメータ推定器を用い、多様な時系列パターンにおいて検出精度を向上させる。実運用環境での導入では誤検出が顕著に削減され、感度チューニングによるカスタマイズ性が向上した。

ABSTRACT

Time-series anomaly detection is a popular topic in both academia and industrial fields. Many companies need to monitor thousands of temporal signals for their applications and services and require instant feedback and alerts for potential incidents in time. The task is challenging because of the complex characteristics of time-series, which are messy, stochastic, and often without proper labels. This prohibits training supervised models because of lack of labels and a single model hardly fits different time series. In this paper, we propose a solution to address these issues. We present an automated model selection framework to automatically find the most suitable detection model with proper parameters for the incoming data. The model selection layer is extensible as it can be updated without too much effort when a new detector is available to the service. Finally, we incorporate a customized tuning algorithm to flexibly filter anomalies to meet customers' criteria. Experiments on real-world datasets show the effectiveness of our solution.

研究の動機と目的

• 産業環境における多様でラベルなし、非ステーションリティな時系列に対して適切な異常検出モデルを選択する課題に対処すること。
• 手動でのモデルチューニングやラベル付きデータに依存しないように、モデルとパラメータ選択を自動化すること。
• ビジネス固有の感度しきい値に一致するカスタマイズ可能な異常検出を可能にすること。
• 再トレーニングや教師あり学習を必要とせずに、多様な時系列パターンにおいて検出性能を向上させること。
• 複数の検出器を統合し、数百万のシグナルをリアルタイムで監視可能なスケーラブルかつ拡張可能なシステムを構築すること。

提案手法

• システムは、入力時系列から82次元の特徴表現を抽出するために、変換処理（例：スペクトル残差、FFT、季節除去）を一連実行する。
• モデルセレクタ部は、これらの特徴を用いて、非教師あり検出器群（例：HBOS、SR、S-H-ESD）の中から最も適した異常検出モデルを自動的に選択する。
• 各選択されたモデルは、シリーズの特性に基づいて最適なハイパーパrameter（例：しきい値）を計算する専用のパラメータ推定器とペアになる。
• パイプラインは1パスインフェレンスをサポートし、性能が低い検出器による汚染を引き起こす可能性のある反復的アンサンブル手法を回避する。
• カスタマイズ可能なチューニングレイヤーは、ユーザー定義の感度レベルに合わせて異常境界を調整し、さまざまなシグナルの大きさにわたる一貫性を向上させる。
• フレームワークは拡張性を備えており、新しい検出器を再トレーニングせずに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの状況下で、与えられた時系列に対して適切な異常検出モデルを自動選択する方法は何か？
• RQ2 時系列の特性を効果的に表現する特徴のセットは何か？
• RQ3 データ特徴に基づいて、各選択されたモデルの最適なハイパーパrameterを信頼性高く計算できるか？
• RQ4 異常検出の結果を、さまざまなビジネスの感度要件に合わせてカスタマイズできるか？
• RQ5 手動による介入なしに、多様な時系列パターンにおいて誤検出を低減できるか？

主な発見

• 自動モデル選択フレームワークは、従来のモデル（例：S-H-ESD）がノイズや高い異常比に敏感であるため失敗する実世界の事例において、誤検出を顕著に削減した。
• 異常比が0.18でノイズが多い円形パターンを示す時系列では、システムはHBOS（しきい値0.923）を選択し、S-H-ESDを上回る性能を示した。
• 15％の異常比を示す季節的シグナルでは、システムはスペクトル残差（SR、しきい値4.894）を選択し、検出の一貫性が向上した。
• カスタマイズ可能なチューニングレイヤーにより、異なる値スケールにわたる感度の一貫性が確保され、ユーザーから報告されていた境界の一貫性の欠如が解消された。
• システムはマイクロソフトの200以上のプロダクトチームに導入され、400万件を超える時系列をリアルタイムで監視し、スケーラブルなパフォーマンスを発揮した。
• 反復的アンサンブル手法とは異なり、1つの時系列に対して1つのモデルのみを選択するため、弱い検出器による汚染のリスクを回避できる。