[論文レビュー] Data Smashing 2.0: Sequence Likelihood (SL) Divergence For Fast Time Series Comparison

Yi Huang, Ishanu Chattopadhyay|arXiv (Cornell University)|Sep 26, 2019

Time Series Analysis and Forecasting参考文献 11被引用数 4

ひとこと要約

本稿では、確率的有限状態オートマトン（PFSA）から導出された系列尤度（SL）発散に基づく、特徴工学を必要とせず、普遍的で高速な時系列比較用メトリック「Smash2.0」を紹介する。この手法は、時系列の背後にある確率的生成プロセスの発散を測定することで、モデルレベルの類似性を効率的に推定でき、合成時系列および実世界のEEGおよび歩行データにおいて、従来の手法（動的時系列適合法（DTW）および元のData Smashing）を著しく上回る速度と識別精度を達成する。

ABSTRACT

Recognizing subtle historical patterns is central to modeling and forecasting problems in time series analysis. Here we introduce and develop a new approach to quantify deviations in the underlying hidden generators of observed data streams, resulting in a new efficiently computable universal metric for time series. The proposed metric is in the sense that we can compare and contrast data streams regardless of where and how they are generated and without any feature engineering step. The approach proposed in this paper is conceptually distinct from our previous work on data smashing, and vastly improves discrimination performance and computing speed. The core idea here is the generalization of the notion of KL divergence often used to compare probability distributions to a notion of divergence in time series. We call this the sequence likelihood (SL) divergence, which may be used to measure deviations within a well-defined class of discrete-valued stochastic processes. We devise efficient estimators of SL divergence from finite sample paths and subsequently formulate a universal metric useful for computing distance between time series produced by hidden stochastic generators.

研究の動機と目的

• ドメイン特化の特徴工学を必要とせず、時系列を比較する普遍的で計算効率の良いメトリックを開発すること。
• 点対点の類似度が低いにもかかわらず、同じ確率的過程から生成された時系列を区別できない従来手法の限界を解消すること。
• 新たな発散測度「系列尤度（SL）発散」を用いて、KL発散を確率的過程へ一般化し、サンプルパスの類似度ではなくモデルレベルの差を測定すること。
• EEGや歩行データなど、多様なソースからの時系列の分類およびクラスタリングを、その背後にある生成プロセスの類似性を推定することで、堅牢に可能にすること。
• 量子化とPFSA推論を用いて、生データストリームに直接作用するスケーラブルなフレームワークを提供すること。

提案手法

• 時系列を離散値をとる確率的過程の実現とみなす。これにより、非マルコフ過程の動的特性も表現可能となる。
• SL発散を、確率的過程へのKL発散の一般化として定義し、生成モデル間の乖離を定量化する。
• 有限長のサンプルパスにおける対数尤度の収束を用いて、SL発散を効率的に推定し、高コストな次元削減を回避する。
• 連続時系列データを有限のアルファベットに写像するための量子化スキームを適用し、PFSAモデリングに適した形式に変換する。
• 観測された系列からPFSAモデルを学習するための推論アルゴリズム「GenESeSS」を用い、エントロピー率およびKL発散を閉形式で推定可能にする。
• 最終的なメトリック「Smash2.0」は、SL発散に基づいて時系列間のペアワイズ距離を計算し、後続タスク用の普遍的な距離行列を構築する。

実験結果

リサーチクエスチョン

• RQ1 特徴工学やドメイン特化の知識を必要とせず、時系列を比較する普遍的メトリックを開発できるか？
• RQ2 KL発散を確率的過程へ一般化することで、サンプルパスの類似度ではなくモデルレベルの差を測定できるか？
• RQ3 有限長時系列からSL発散を効率的に推定できるか？これにより、高速かつ正確な時系列比較が可能になるか？
• RQ4 DTWや元のData Smashingといった既存手法と比較して、新メトリックの速度および識別精度はどのように異なるか？
• RQ5 EEGパターンの休息時と運動想像時、あるいは個々の人の歩行パターンといった、複雑な実世界時系列の微細な差を効果的に区別できるか？

主な発見

• Smash2.0は、合成時系列において、元のData Smashingおよび動的時系列適合法（DTW）を、識別精度の面で著しく上回り、計算効率も顕著に向上する。
• EEGデータにおいて、被験者S004の休息時と（想像上の）運動時の脳状態の差を適切に区別し、チャネル21で相関係数r(D) = .572を示した。一方、S001では最小限の差が観察され、臨床的期待と整合的である。
• 歩行認識の分野では、個々の人の間で明確に異なる運動パターンを同定できる。z方向では、最初の2名の被験者間の距離行列に明確な差が現れ、r(D) = .340を示し、信頼性の高いユーザー識別が可能である。
• 多チャンネル加速度計データを用いたユーザー識別において、高い性能を達成した。方向ごとの測定値を組み合わせ、チャンネル固有の量子化スキームを適用することで、単一チャンネル手法を上回る分類精度が得られた。
• PFSAの使用により、エントロピー率およびKL発散の閉形式計算が可能となり、有限サンプルパスからのSL発散の高速かつ安定な推定が可能となった。
• フレームワークは、不規則にサンプリングされた時系列や非定常時系列を含む多様なデータタイプに対して、生の信号特徴ではなく、背後にある確率的生成プロセスをモデル化することで、堅牢性を示した。