[论文解读] A Spectral Algorithm for Learning Hidden Markov Models

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Nov 26, 2008

Bayesian Methods and Mixture Models被引用 137

一句话总结

该论文提出了一种谱算法，用于在涉及观测矩阵和转移矩阵奇异值的自然分离条件下学习隐马尔可夫模型（HMM）。该方法通过过去-未来相关矩阵的奇异值分解（SVD）来恢复隐藏状态的低秩表示，实现了在多项式样本复杂度和计算复杂度下的可证明正确学习，即使在自然语言处理等高维观测空间中也适用。

ABSTRACT

Hidden Markov Models (HMMs) are one of the most fundamental and widely used statistical tools for modeling discrete time series. In general, learning HMMs from data is computationally hard (under cryptographic assumptions), and practitioners typically resort to search heuristics which suffer from the usual local optima issues. We prove that under a natural separation condition (bounds on the smallest singular value of the HMM parameters), there is an efficient and provably correct algorithm for learning HMMs. The sample complexity of the algorithm does not explicitly depend on the number of distinct (discrete) observations---it implicitly depends on this quantity through spectral properties of the underlying HMM. This makes the algorithm particularly applicable to settings with a large number of observations, such as those in natural language processing where the space of observation is sometimes the words in a language. The algorithm is also simple, employing only a singular value decomposition and matrix multiplications.

研究动机与目标

• 通过识别具有可证明保证的可 tractable（易处理）设置，解决在一般条件下学习HMM的计算困难问题。
• 克服EM等局部搜索启发式方法的局限性，后者易陷入局部最优且缺乏理论保证。
• 在高维观测空间（如自然语言处理中的词序列）中实现高效学习，其中不同观测的数量较大。
• 开发一种不显式恢复转移矩阵和观测矩阵的方法，而是保持与隐藏状态表示线性相关。
• 在谱分离条件下，为联合分布和条件序列分布的近似误差提供理论界。

提出的方法

• 通过对过去和未来观测序列之间的经验相关性应用典型相关分析（CCA）并结合SVD，估计隐藏状态的低维子空间。
• 对过去和未来观测之间的相关矩阵进行谱分解，以识别潜在的隐藏状态结构。
• 采用两阶段估计：首先使用SVD估计子空间，然后在估计的子空间上通过矩阵运算恢复未来观测的条件分布。
• 应用归一化和重归一化步骤，以确保估计的条件分布为有效的概率向量。
• 将观测矩阵的谱条件（最小奇异值）和转移矩阵的谱条件（相邻观测之间的相关性）作为分离假设。
• 利用矩阵扰动理论来界定估计误差，并推导出依赖于观测谱特性的样本复杂度界（通过谱性质隐式依赖于观测数量）。

实验结果

研究问题

• RQ1 我们能否在自然的谱分离条件下，设计一种具有可证明正确性和高效性的HMM学习算法？
• RQ2 该算法在高维观测空间（如自然语言处理中的观测空间）中是否仍能保持良好性能？
• RQ3 即使序列长度增加，我们能否在预测未来观测时实现有界的误差？
• RQ4 样本复杂度如何随不同观测数量的变化而变化？是否可以使其独立于该数量？
• RQ5 该算法在不显式估计完整HMM参数的情况下，能在多大程度上恢复有意义的隐藏状态表示？

主要发现

• 该算法实现了多项式样本复杂度和计算复杂度，使其适用于大规模应用。
• 样本复杂度通过HMM的谱特性隐式依赖于不同观测的数量，而非显式依赖，这在高观测设置中具有优势。
• 对于长度为 $ t $ 的序列联合分布的近似误差随 $ t $ 多项式退化，但预测下一个观测的误差是渐近有界的。
• 该方法为真实与估计条件分布之间的Kullback-Leibler散度提供了可证明的界，误差项受谱条件和估计误差的控制。
• 该算法对相关矩阵的估计误差具有鲁棒性，误差界通过矩阵扰动理论和集中不等式推导得出。
• 理论分析表明，在适当的样本量下，估计模型对下一个观测的预测误差为 $ O(\theta) $，其中 $ \theta $ 取决于HMM参数的谱间隙和奇异值。