[論文レビュー] An Algorithm for Pattern Discovery in Time Series

Cosma Rohilla Shalizi, Kristina Lisa Shalizi+1 more|ArXiv.org|Oct 29, 2002

Algorithms and Data Compression参考文献 43被引用数 85

ひとこと要約

本稿では、時系列データから直接因果状態を同定することで、統計的に最適で最小の隠れマルコフモデルを発見する新しい手法、因果状態分割再構成（CSSR）アルゴリズムを紹介する。従来のHMMとは異なり、CSSRはプロセスの因果的構造をデータから完全に構築するため、線形時間計算量のもとで予測最適性と漸近的信頼性を保証し、逐次的データにおける内在的で予測可能なパターンの同定に特に適している。

ABSTRACT

We present a new algorithm for discovering patterns in time series and other sequential data. We exhibit a reliable procedure for building the minimal set of hidden, Markovian states that is statistically capable of producing the behavior exhibited in the data -- the underlying process's causal states. Unlike conventional methods for fitting hidden Markov models (HMMs) to data, our algorithm makes no assumptions about the process's causal architecture (the number of hidden states and their transition structure), but rather infers it from the data. It starts with assumptions of minimal structure and introduces complexity only when the data demand it. Moreover, the causal states it infers have important predictive optimality properties that conventional HMM states lack. We introduce the algorithm, review the theory behind it, prove its asymptotic reliability, use large deviation theory to estimate its rate of convergence, and compare it to other algorithms which also construct HMMs from data. We also illustrate its behavior on an example process, and report selected numerical results from an implementation.

研究の動機と目的

• 事前に定義されたモデル構造を仮定せずに、時系列データから意味的で予測可能なパターンを発見する手法を開発すること。
• 観測データを統計的に再現できる最小の隠れマルコフ状態（因果状態）の集合を同定すること。
• 同定されたモデルが、標準的な統計的仮定のもとで予測最適であり、漸近的に信頼できるように保証すること。
• 過学習を回避し、データの要請に応じて複雑性を自動的に適応する実用的なアルゴリズムを提供すること。

提案手法

• CSSRは、将来の分布が統計的に区別できない履歴をグループ化する、下位から上位への反復的分割手順を用いる。
• カイ二乗検定やコルモゴロフ＝スミルノフ検定などの統計的仮説検定を用い、2つの履歴が予測分布に基づいて統合可能かどうかを評価する。
• アルゴリズムは履歴の粗い分割から出発し、統計的証拠が要求する場合にのみグループを分割することで、最小のモデル複雑性を保証する。
• 大偏差理論を活用して収束速度の上限を設定し、漸近的正しさを保証する。
• データからエプシロン・マシン（最小で統計的に十分なモデル）を構築し、プロセスの因果的構造を表現する。
• データサイズに比例する線形時間で動作するため、大規模な逐次的データセットに対してもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 事前にプロセス構造に関する仮定をせずに、時系列データから最小の因果状態集合を信頼性を持って同定する方法は何か？
• RQ2 2つの履歴を同じ因果状態にグループ化すべきかどうかを判断するための統計的基準は何か？
• RQ3 CSSRアルゴリズムは、パターン発見において漸近的正しさを保ち、過学習を回避する仕組みは何か？
• RQ4 アルゴリズムの収束速度は何か？ また、大偏差理論を用いてその速度を上限で抑えられるか？
• RQ5 既存のHMMフィッティング法やコンテキストツリー法と比較して、CSSRの性能と信頼性はどのように異なるか？

主な発見

• CSSRは漸近的に信頼性がある：標準的条件下では、誤った因果的構造を有限回しか返さない。
• アルゴリズムはデータサイズに比例する線形時間計算量を達成しており、大規模な時系列データに対して計算的に効率的である。
• CSSRは予測最適なモデルを生成し、予測に必要な因果状態は統計的に十分である。
• 本手法は、真の背後構造を同定する点で、先行する因果状態統合アルゴリズムやコンテキストツリー法を一貫して上回る。
• 収束速度は大偏差理論を用いて上限が設定されており、アルゴリズムの性能に対する理論的信頼性が得られる。
• 適切な補間を用いれば連続値プロセスへも拡張可能であるが、これについては未解決の課題のままである。