[论文解读] A Method of Moments for Mixture Models and Hidden Markov Models

Animashree Anandkumar, Daniel Hsu+1 more|arXiv (Cornell University)|Mar 3, 2012

Bayesian Methods and Mixture Models参考文献 28被引用 67

一句话总结

本文提出了一种计算高效的高维混合模型与隐马尔可夫模型的矩方法，仅使用低阶矩，实现了多项式样本复杂度与计算复杂度下的一致参数估计。该方法通过奇异值分解（SVD）从多个间接视角捕捉潜变量结构，实现了以往方法无法达成的可证明的无监督学习保证。

ABSTRACT

Mixture models are a fundamental tool in applied statistics and machine learning for treating data taken from multiple subpopulations. The current practice for estimating the parameters of such models relies on local search heuristics (e.g., the EM algorithm) which are prone to failure, and existing consistent methods are unfavorable due to their high computational and sample complexity which typically scale exponentially with the number of mixture components. This work develops an efficient method of moments approach to parameter estimation for a broad class of high-dimensional mixture models with many components, including multi-view mixtures of Gaussians (such as mixtures of axis-aligned Gaussians) and hidden Markov models. The new method leads to rigorous unsupervised learning results for mixture models that were not achieved by previous works; and, because of its simplicity, it offers a viable alternative to EM for practical deployment.

研究动机与目标

• 解决EM与最大似然方法在高维混合模型中收敛缓慢与陷入局部最优的问题。
• 为具有大量分量的高维混合模型开发一种一致且高效的参数估计方法，避免分量数量上的指数复杂度。
• 将矩方法扩展至无显式似然方程的模型，如多视角混合模型与HMM。
• 在较弱的秩条件下提供可证明的无监督学习保证，样本复杂度为多项式。
• 为实际部署提供一种实用且数值稳定的EM替代方案。

提出的方法

• 该方法利用来自潜变量多个间接视角的低阶矩（最高三阶），例如HMM中的过去、当前与未来观测，或乘积分布中的坐标分区。
• 从经验数据构建矩张量，并应用奇异值分解（SVD）以提取对应于潜在分量的低秩结构。
• 通过适当归一化的矩张量进行特征分解来估计混合分量参数，确保数值稳定性和低方差。
• 该方法利用矩的多线性结构识别参数，无需迭代优化，从而避免陷入局部极小值。
• 依赖于矩张量的秩条件以确保即使在高维设置下，混合分量仍可辨识。
• 该方法仅使用标准线性代数运算实现，具有可扩展性，适用于实际部署。

实验结果

研究问题

• RQ1 能否通过矩方法实现对具有大量分量的高维混合模型的一致参数估计？
• RQ2 该方法能否避免先前一致方法中指数级的样本与计算复杂度？
• RQ3 该方法能否应用于无显式似然方程的模型，如HMM与多视角高斯混合模型？
• RQ4 该方法在较弱的秩条件下是否能提供可证明的无监督学习保证？
• RQ5 该方法能否作为EM在实际应用中的实用且稳定的替代方案？

主要发现

• 所提方法在较弱的秩条件下，对包括多视角高斯分布与HMM在内的广泛高维混合模型类实现了参数估计的一致性。
• 准确估计的样本复杂度在分量数量及其他相关参数下为多项式，避免了先前一致方法中常见的指数依赖。
• 计算复杂度为多项式，仅依赖低阶矩与标准SVD/特征分解，具有良好的可扩展性。
• 该方法在以往工作无法提供保证的场景下，提供了可证明的无监督学习保证，尤其在无分离条件的设置中表现突出。
• 实验评估表明，该方法具有鲁棒性，性能与EM相当，且由于依赖低阶矩，方差较低。
• 该方法在第二阶矩不足以辨识参数的情况下仍能成功识别模型参数，这在先前文献的反例中已得到验证。