[論文レビュー] Anomaly detection and motif discovery in symbolic representations of time series

Fabio Guigou, Pierre Collet+1 more|arXiv (Cornell University)|Jan 1, 2017

Time Series Analysis and Forecasting参考文献 14被引用数 2

ひとこと要約

本稿では、時系列データのための記号的集約近似（SAX）を用いた異常検出およびモチーフ発見アルゴリズムの提案と評価を行い、SAXベースの手法が事後分析には有効である一方で、ダウンサンプリングとスライディングウィンドウ処理による高い遅延が、リアルタイム応用の制限要因となることを示している。SequiturおよびChaos Gameは優れた検出性能を示すが、周期的パターンへの感受性や長時間の先行予測が必要な点でトレードオフが生じる。

ABSTRACT

The advent of the Big Data hype and the consistent recollection of event logs and real-time data from sensors, monitoring software and machine configuration has generated a huge amount of time-varying data in about every sector of the industry. Rule-based processing of such data has ceased to be relevant in many scenarios where anomaly detection and pattern mining have to be entirely accomplished by the machine. Since the early 2000s, the de-facto standard for representing time series has been the Symbolic Aggregate approXimation (SAX).In this document, we present a few algorithms using this representation for anomaly detection and motif discovery, also known as pattern mining, in such data. We propose a benchmark of anomaly detection algorithms using data from Cloud monitoring software.

研究の動機と目的

• 産業監視システムから得られる大規模な時系列データにおいて、異常を検出し、繰り返しパターンを発見する課題に対処すること。
• 特にSAXを含む記号的表現が、実世界のネットワークおよびシステム監視データにおける異常検出およびモチーフ発見にどの程度有効であるかを評価すること。
• 実際のクラウド監視データを用いて、複数のアルゴリズム（Hot SAX、Sequitur、Chaos Game）をベンチマークし、強み・弱みおよび導入制約を特定すること。
• 厳密な遅延および正確性要件を満たす生産環境におけるリアルタイム異常検出に、記号的表現を用いることが可能かどうかを評価すること。

提案手法

• 連続的な時系列データを離散的な記号的文字列に変換するため、記号的集約近似（SAX）表現を適用し、次元削減を実現するとともに、文字列ベースのパターンマイニングを可能にする。
• SAX語の出現頻度がベースライン分布から著しく逸脱する稀なパターンを特定することで、Hot SAXを用いて異常検出を実施する。
• 記号的シーケンスの圧縮可能性に基づいて異常を検出するため、Sequiturアルゴリズムを用い、低複雑性のパターンを異常として特定する。
• 時系列データを幾何的空間内の軌道としてモデル化することで、構造的逸脱に敏感な異常検出を実現するため、混沌のゲーム表現（CGR）を実装する。
• 最小記述長（MDL）、文法推論、およびMKアルゴリズムを用いて、記号的シーケンス内の繰り返しパターンを同定するモチーフ発見を実施する。
• 実際のクラウド監視データを用いた比較ベンチマークを実施し、検出精度、実行時間、周期的および循環的行動への感受性を測定する。

実験結果

リサーチクエスチョン

• RQ1 SAXベースの異常検出アルゴリズムは、システム監視データにおける実世界の異常をどの程度効果的に同定できるか？
• RQ2 SAXベースの異常検出手法において、検出精度、計算コスト、遅延の間にはどのようなトレードオフが生じるか？
• RQ3 周期的、循環的、または構造的変化を示す時系列データにおいて、異なる記号的表現ベースのアルゴリズム（例：Hot SAX、Sequitur、Chaos Game）はどの程度の性能を示すか？
• RQ4 ダウンサンプリングとウィンドウ処理に起因する固有の遅延を考慮すると、記号的表現がリアルタイム異常検出をどの程度支援できるか？
• RQ5 記号的表現と生データ処理を組み合わせたハイブリッド手法は、時系列監視における検出速度と正確性を向上させることができるか？

主な発見

• Sequiturは、特にパターンの複雑性を増加させる異常に対して検出速度と感受性が最も優れていたが、100％CPU負荷が継続するなどパターンを単純化する異常は検出できなかった。
• 混沌のゲーム表現（CGR）は、予測可能な実行時間と高い検出精度を実現したが、少なくとも特徴ウィンドウの2倍の先行予測ウィンドウが必要であり、リアルタイム検出には受け入れがたい遅延を引き起こした。
• Hot SAXは、希少な記号的パターンの検出において非常に正確であったが、CPU負荷が高く、リアルタイム用途には不適切であった。
• すべてのSAXベースのアルゴリズムは、週単位や周期的なパターンにおける異常検出に苦労し、とくにベースライン行動自体が循環的である場合には誤検出や検出漏れを生じた。
• 本研究では、SAXのような記号的表現は、事後分析には有効であるが、ダウンサンプリングとウィンドウ処理に起因する固有の遅延のため、リアルタイム異常検出にはほとんど不適切であると結論づけた。
• 長期的なパターン分析に記号的表現を用い、同時に生データまたは量子化済みデータのリアルタイム処理を組み合わせたハイブリッド手法が、検出遅延を低減する有効な道筋であると提言された。