[論文レビュー] Two-Sample Testing for Event Impacts in Time Series

Erik Scharwächter, Emmanuel Müller|arXiv (Cornell University)|Jan 31, 2020

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

この論文では、特定の検出モデルを仮定せずに、時系列とイベント発生の間の共有統計的情報を検出する非パラメトリックな二標本検定フレームワーク、EITESTを提案する。複数の二標本検定（Kolmogorov-Smirnov統計量またはMMD統計量を用いて）により、イベント発生後の遅れを増加させた際の時系列値の分布差を検証することで、単変量、多変量、非数値分野における情報性のある時系列を同定する。シミュレーションおよびソーシャルメディアやスマートホームデータの実世界応用において、既存手法と同等または優れた性能を示している。

ABSTRACT

In many application domains, time series are monitored to detect extreme events like technical faults, natural disasters, or disease outbreaks. Unfortunately, it is often non-trivial to select both a time series that is informative about events and a powerful detection algorithm: detection may fail because the detection algorithm is not suitable, or because there is no shared information between the time series and the events of interest. In this work, we thus propose a non-parametric statistical test for shared information between a time series and a series of observed events. Our test allows identifying time series that carry information on event occurrences without committing to a specific event detection methodology. In a nutshell, we test for divergences of the value distributions of the time series at increasing lags after event occurrences with a multiple two-sample testing approach. In contrast to related tests, our approach is applicable for time series over arbitrary domains, including multivariate numeric, strings or graphs. We perform a large-scale simulation study to show that it outperforms or is on par with related tests on our task for univariate time series. We also demonstrate the real-world applicability of our approach on datasets from social media and smart home environments.

研究の動機と目的

• 特定のイベント検出アルゴリズムに依存せずに、時系列が外部イベントに関する情報を保持しているかどうかを検出する汎用的な統計的検定を開発すること。
• 平均、分散、裾の挙動の変化など、関係が複雑または微細な場合に、情報性のある時系列を同定する課題に対処すること。
• 視覚的検査が不可能な多変量数値、文字列、グラフ時系列など、任意のデータドメインにおけるイベント影響の検出を可能にすること。
• 計算コストが高く、他の独立性検定に限界がある長期間時系列にスケーラブルな、計算的に効率的な手法を提供すること。

提案手法

• 時系列とイベントの間の共有情報の検出問題を、イベント発生後の異なる遅れにおける時系列値の分布差を比較する複数の二標本検定に還元する。
• 各遅れ k ∈ {1, ..., K} に対して、E_{t−k} = 1 のときの X_t の分布が E_{t−k} = 0 のときと異なるかどうかを、非パラメトリックな二標本検定で検証する。
• 2つのバリエーションを提案：Kolmogorov-Smirnov統計量を用いるEITEST-KSと、カーネル法を用いて任意のドメインをサポートするMaximum Mean Difference（MMD）統計量を用いるEITEST-MMD。
• 複数の遅れにおける家族-wise 偽陽性率を閉形式の検定手順により制御し、複数比較下での統計的妥当性を保証する。
• 時系列長 T に対して線形時間計算量であるため、他の検定が計算コストのため失敗するような長期間時系列にもスケーラブルに適用可能である。
• イベント検出アルゴリズムに依存せず、イベントと統計的に関連する時系列のみを同定することに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 特定の検出モデルを仮定せずに、非パラメトリックな二標本検定フレームワークは、時系列とイベント発生の間の微細な統計的関連性を検出可能か？
• RQ2 提案手法は、時系列挙動の種類にかかわらず、イベント影響を検出する際、既存の因果推論および独立性検定手法と比較してどの程度の性能を示すか？
• RQ3 文字列やグラフのような非数値時系列において、イベント影響を検出可能か？その場合のカーネル選択の要件は何か？
• RQ4 長期間時系列におけるスケーラビリティは？統計的検出力と計算可能性は維持されるか？

主な発見

• EITEST-KS および EITEST-MMD は、ドイツのTwitter活動と世界的な地震の間の独立性の帰無仮説を p < .0001 で棄却し、強い統計的関連性を確認した。
• 中国の地震に関しては、EITEST-KS および EITEST-MMD は独立性を棄却しない（それぞれ p = .4090 および p = .4225）ため、ドイツにおける公的認識の低さが示唆された。
• GC-VAR は中国の地震に関連性を検出（p = .0090）したが、EITEST の結果と矛盾し、この手法に偽陽性の可能性があることを示唆した。
• TE-KSG は実行ごとに一貫性のない p 値を示し、両タスクにおいて信頼性の低い性能を示した。
• シミュレーションでは、EITEST は平均シフト、分散変化、尾部の肥大化という3種類のイベント影響を検出する際、既存手法を上回るか同等の性能を示した。
• この手法は時系列長 T に対して線形であるため、他の検定が計算的に非現実的になるような長期間時系列への効率的適用が可能である。