[論文レビュー] Autocorrelation type functions for big and dirty data series

Christoph Bandt|arXiv (Cornell University)|Nov 14, 2014

Time Series Analysis and Forecasting参考文献 1被引用数 6

ひとこと要約

本稿では、前処理を要せず、大規模でノイズが多く、不規則な時系列データを分析するための頑健なツールとして、順序付き自己相関関数 — 特に $\tilde{\tau}(d)$, $\tilde{\beta}(d)$, $\tilde{\rho}(d)$, および $\tilde{\tau}$ — を導入する。生の値ではなく順序のパターンに注目することで、呼吸、潮流、EEG、レーザー信号など多様なデータにおいて、リズム構造、レジームシフト、周期性を検出可能であり、高分解能かつ欠損データを含む状況でも有効である。古典的自己相関関数やスペクトログラムとは異なり、キャリブレーションを必要としない代替手法を提供する。

ABSTRACT

One form of big data are signals - time series of consecutive values. In physical experiments, billions of values can now be measured within a second. Signals of heart and brain in intensive care, as well as seismic waves, are measured with 100 up to 1000 Hz over hours, days or even years. A song of 3 minutes on CD comprises 16 million values. Music and seismic vibrations basically consist of harmonic oscillations for which classical tools like autocorrelation and spectrogram work well. This note presents similar tools for all kinds of rhythmic processes, with non-linear distortion, artefacts, and outliers. Permutation entropy has been used in physics, medicine, and engineering. Big data allow a detailed analysis of ordinal patterns. As new version of permutation entropy, we define a distance to white noise consisting of four curious components. Applications to a variety of data are discussed.

研究の動機と目的

• 大規模で汚れた時系列データ（非線形歪み、外れ値、欠損データを含む）を前処理なしに分析できる頑健なツールを開発すること。
• 大規模データにおける順序パターンに基づく「白色雑音からの逸脱度」を測る指標を導入することで、順序エントロピーを拡張すること。
• 古典的手法が失敗する現実世界の信号において、順序統計量が隠れたリズム的・構造的パターンを明らかにできることを示すこと。
• センサ設計において高分解能データの保持を提唱し、前処理によって重要な情報を損なう可能性があることを指摘すること。
• 時系列の順序付き自己相関プロファイルに基づいて分類・区別するためのフレームワークを提供すること。

提案手法

• 値の順序関係のみを用いて、$p_{12}(d)$（$x_t < x_{t+d}$ の相対頻度）を定義し、$\beta(d) = p_{12}(d) - p_{21}(d)$ として上昇・下降のバランスを定義する。
• $\tilde{\tau}(d)$ を導入し、順序パターンに基づく「楕円的対称性」の正規化された尺度として、周期性や構造的変化を検出する。
• 固定長のスライディングウィンドウを用いて $\beta(d)$, $\tilde{\tau}(d)$, および関連関数を計算し、レジームシフトを検出するためのスペクトログラムに類似したマップとして可視化する。
• $\Delta^2$（白色雑音からの逸脱度を測る指標）の分割を用いて、順序パターンの有意性を評価し、誤差境界を推定する。
• 24時間の呼吸信号、潮位、1時間ごとのPM10および気温データ、超高速レーザー信号など、多様なデータセットに手法を適用する。
• 古典的手法（自己相関関数やスペクトログラム）と結果を比較することで手法の妥当性を検証し、マルチスケールの周期性や微細なリズムをより優れた感度で検出できることを示す。

実験結果

リサーチクエスチョン

• RQ1 古典的手法が失敗する大規模でノイズが多く、前処理なしの汚れた時系列データにおいて、順序付き自己相関関数は周期的・リズミカルな構造を検出可能か？
• RQ2 $\tilde{\tau}(d)$, $\tilde{\beta}(d)$, および関連関数は、古典的手法の自己相関関数やスペクトログラムと比較して、隠れたパターンをどれほどよく明らかにできるか？
• RQ3 これらの関数は、データ前処理なしに、生理的状態（例：睡眠ステージ）や環境レジームの遷移をどの程度正確に検出できるか？
• RQ4 これらの関数の統計的信頼性はどの程度か？また、異なるウィンドウ長や遅延における誤差境界はどのように推定できるか？
• RQ5 従来のダウンサンプリング分析に比べ、順序統計量を用いることで高分解能データをより効果的に活用できるか？

主な発見

• $\tilde{\tau}(d)$ は、前処理なしに24時間の呼吸時系列データにおいて、睡眠ステージ、仮眠、呼吸リズムを明確に検出でき、睡眠中の4秒周期と日常生活の短い周期を捉えた。
• 潮位データでは、$\tilde{\beta}(d)$ プロファイルが18年間にわたり安定しており、各沿岸地域固有の特徴を示した。$\beta(12.5) = 0$ は25時間周期を示し、周期性が明確に確認された。
• サン・バーナディーノのPM10データでは、夏季にのみ日常リズムが現れるが、$\tilde{\beta}(d)$ および $\tilde{\tau}(d)$ を用いることで、元のデータや古典的手法では見えない周期性を検出できた。
• 超高速レーザー信号では、$\tilde{\tau}(d)$ が真の周期 $L=1544$ を半周期（$d=L/2$）で高信頼性で検出でき、$\rho(d)$ や古典的手法を上回った。
• $\tilde{\tau}$ の推定誤差平均は0.54%であり、$\Delta^2$ の96%が小さく、ほとんどのデータウィンドウで順序パターンの整合性が高いことが示された。
• 全データ点の2%が $\Delta^2 < 15/n$ を満たし、その中で $\tilde{\tau}$ の平均は76%に達しており、高品質なデータサブセットにおいて強い信号整合性が確認された。