[论文解读] An Algorithm for Pattern Discovery in Time Series

Cosma Rohilla Shalizi, Kristina Lisa Shalizi+1 more|ArXiv.org|Oct 29, 2002

Algorithms and Data Compression参考文献 43被引用 85

一句话总结

本文提出了一种新型的因果状态分裂重构（CSSR）算法，通过直接从数据中推断因果状态，实现对时间序列中统计最优、最小隐藏马尔可夫模型（HMM）的发现。与传统HMM不同，CSSR从零开始构建过程的因果架构，确保预测最优性与渐近可靠性，且时间复杂度为线性，因此特别适合识别序列数据中的内在预测模式。

ABSTRACT

We present a new algorithm for discovering patterns in time series and other sequential data. We exhibit a reliable procedure for building the minimal set of hidden, Markovian states that is statistically capable of producing the behavior exhibited in the data -- the underlying process's causal states. Unlike conventional methods for fitting hidden Markov models (HMMs) to data, our algorithm makes no assumptions about the process's causal architecture (the number of hidden states and their transition structure), but rather infers it from the data. It starts with assumptions of minimal structure and introduces complexity only when the data demand it. Moreover, the causal states it infers have important predictive optimality properties that conventional HMM states lack. We introduce the algorithm, review the theory behind it, prove its asymptotic reliability, use large deviation theory to estimate its rate of convergence, and compare it to other algorithms which also construct HMMs from data. We also illustrate its behavior on an example process, and report selected numerical results from an implementation.

研究动机与目标

• 开发一种无需预设模型结构假设的方法，以发现时间序列中具有意义的预测模式。
• 推断出能够统计再现观测数据的最小隐藏马尔可夫状态集合（即因果状态）。
• 确保所推断的模型在标准统计假设下具备预测最优性与渐近可靠性。
• 提供一种实用算法，避免过拟合，并能自动适应数据需求的复杂度。

提出的方法

• CSSR采用自下而上的迭代分裂过程，将具有统计上不可区分的未来分布的历史分组。
• 应用统计假设检验（如卡方检验或柯尔莫哥洛夫-斯米尔诺夫检验）来判断两个历史是否可基于其预测分布合并。
• 算法从历史分组的粗粒度划分开始，仅在统计证据要求时才进行分裂，从而确保模型复杂度最小化。
• 利用大偏差理论来界定收敛速率，确保渐近正确性。
• 该方法从数据构建一个ε-机器（即最小且统计充分的模型），以表示过程的因果架构。
• 其运行时间与数据规模呈线性关系，因此可扩展用于大规模序列数据集。

实验结果

研究问题

• RQ1 如何在不预先假设底层过程结构的前提下，可靠地从时间序列数据中推断出最小因果状态集合？
• RQ2 可采用何种统计标准来判断两个历史是否应归入同一因果状态？
• RQ3 CSSR算法如何在模式发现中确保渐近正确性并避免过拟合？
• RQ4 该算法的收敛速率是多少？如何利用大偏差理论对其进行界定？
• RQ5 与现有的HMM拟合算法和上下文树算法相比，CSSR在性能与可靠性方面表现如何？

主要发现

• CSSR具有渐近可靠性：在标准条件下，仅有限次返回错误的因果架构。
• 该算法在数据规模上实现线性时间复杂度，使其在大规模时间序列中计算高效。
• CSSR生成的模型具有预测最优性，其因果状态对预测而言是统计充分的。
• 该方法在识别真实底层结构方面，始终优于先前的因果状态合并算法与上下文树方法。
• 利用大偏差理论界定了收敛速率，为算法性能提供了理论上的置信保障。
• CSSR可扩展至连续值过程，但需适当插值，此问题仍为开放挑战。