[論文レビュー] Event Discovery in Time Series

Dan Preston, Pavlos Protopapas+1 more|ArXiv.org|Jan 21, 2009

Time Series Analysis and Forecasting参考文献 21被引用数 7

ひとこと要約

本稿では、データをランク空間に変換し、近似最適化を用いたスキャン統計を適用することで、ノイズに依存しない可変ウィンドウ型の時系列における統計的に有意なイベント検出手法を提案する。MACHOデータセットにおいて、上位1%の結果内に既知のマイクロレンズおよびブルースターイベントを100%回復させ、従来の検定に失敗する以前未発見のイベントを同定した。

ABSTRACT

The discovery of events in time series can have important implications, such as identifying microlensing events in astronomical surveys, or changes in a patient's electrocardiogram. Current methods for identifying events require a sliding window of a fixed size, which is not ideal for all applications and could overlook important events. In this work, we develop probability models for calculating the significance of an arbitrary-sized sliding window and use these probabilities to find areas of significance. Because a brute force search of all sliding windows and all window sizes would be computationally intractable, we introduce a method for quickly approximating the results. We apply our method to over 100,000 astronomical time series from the MACHO survey, in which 56 different sections of the sky are considered, each with one or more known events. Our method was able to recover 100% of these events in the top 1% of the results, essentially pruning 99% of the data. Interestingly, our method was able to identify events that do not pass traditional event discovery procedures.

研究の動機と目的

• 大規模天文学的調査において、固定ウィンドウ型・ノイズ依存型の時系列イベント検出の限界を解消すること。
• 各系列のノイズモデリングを必要としない汎用的な手法を開発し、ノイズ特性が異なる多様な時系列に応用可能にする。
• すべての可能な区間長およびウィンドウサイズを評価することで、マイクロレンズや心臓奇形など、統計的に有意なイベントを同定すること。
• 計算最適化により、MACHO調査の110,568本の光曲線といった大規模データセットへのスケーラビリティを確保すること。
• イベント検出と異常検出を明確に区別し、既知のイベントおよび合成ベンチマークにおいて優れた性能を示すこと。

提案手法

• 各時系列をランク空間に変換し、実数値データを1〜Nのランクに均一分布に変換することで、元のノイズ分布に依存しない。
• スキャン統計を用いて、すべての可能な区間（任意のサイズのスライディングウィンドウ）のp値を計算し、観測されたウィンドウ和を理論的またはモンテカルロ法で得た確率分布と比較する。
• 解析的計算が困難な場合に、ウィンドウ和のサンプリング分布を近似するためのモンテカルロ法を適用し、スケーラビリティを確保する。
• 全区間をブルートフォースで探索しないで、ランダムリスタートと最小化に基づく最適化技術を用いて、グローバル最小p値を近似する。
• 類似したイベント領域を統合し、結果の重複を減らすためにクラスタリング閾値θを用いる。感度分析により、θ = 0.05〜0.75の範囲で安定した性能を示した。
• 初期の確率分布事前計算後、各時系列を定数時間で独立して処理できるように、クラスタ上で全時系列に並列処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 各系列のノイズモデリングや固定ウィンドウサイズを必要としないノイズに依存しない手法は、時系列における有意なイベントを検出可能か？
• RQ2 ランク空間変換は、ノイズ特性が異なる多様な時系列に一般化可能な統計的有意性の検定を可能にするか？
• RQ3 近似最適化技術は、大規模時系列解析における計算コストをどれほど削減しつつ、検出精度を維持できるか？
• RQ4 従来の異常検出アルゴリズム（例：HOT SAX）と比較して、本手法は既知および新規イベントをどれほど効果的に同定できるか？
• RQ5 ランダムリスタート回数やクラスタリング閾値θといった主要パラメータへの感受性はいかがなが？

主な発見

• MACHOデータセットにおいて、上位1%の結果内で既知のマイクロレンズおよびブルースターイベントを100%回復し、99%のデータを効果的にプルーニングした。
• カイ二乗検定などの従来の統計的検定に失敗したイベントも同定でき、微細または非標準的なイベントの検出を示した。
• 長さ、サイズ、ノイズ特性が異なる合成時系列において、偽陽性はゼロで、すべての埋め込みイベントを100%検出できた。
• 時系列数に比例して線形にスケーリングされ、110,568本の時系列を処理する全分析で、平均して1本あたり約0.13秒、クラスタ上で合計4分23秒で完了した。
• パラメータ変動に対して頑健な性能を示した：ランダムリスタート回数は、ある程度の閾値を超えると利得が減少し、クラスタリングパラメータθは0.05 ≤ θ ≤ 0.75の範囲で結果にほとんど影響を及ぼさなかった。
• 実データおよび合成データの両方において、HOT SAX異常検出アルゴリズムを上回る性能を示し、イベント検出と異常検出の明確な違いを強調した。