[论文解读] A Sober Look at Spectral Learning

Han Zhao, Pascal Poupart|arXiv (Cornell University)|Jun 18, 2014

Gaussian Processes and Bayesian Inference参考文献 11被引用 7

一句话总结

本文对隐变量模型（如HMM）的谱学习（SL）进行了批判性评估，揭示尽管SL具有强大的理论一致性保证，但实践中由于秩估计错误和数据不足，常产生负概率。令人惊讶的是，EM方法往往优于SL，且在可识别模型中可能具有一致性，这挑战了EM因局部最优而本质上不一致的假设。

ABSTRACT

Spectral learning recently generated lots of excitement in machine learning, largely because it is the first known method to produce consistent estimates (under suitable conditions) for several latent variable models. In contrast, maximum likelihood estimates may get trapped in local optima due to the non-convex nature of the likelihood function of latent variable models. In this paper, we do an empirical evaluation of spectral learning (SL) and expectation maximization (EM), which reveals an important gap between the theory and the practice. First, SL often leads to negative probabilities. Second, EM often yields better estimates than spectral learning and it does not seem to get stuck in local optima. We discuss how the rank of the model parameters and the amount of training data can yield negative probabilities. We also question the common belief that maximum likelihood estimators are necessarily inconsistent.

研究动机与目标

• 对隐变量模型（特别是HMM）中的谱学习（SL）和期望最大化（EM）进行实证评估。
• 探究SL中负概率现象的根本原因，特别是与模型秩和训练数据规模的关系。
• 挑战一种普遍观点，即最大似然估计器（如EM）必然因局部最优而存在不一致性。
• 比较SL与EM在数据效率和目标函数质量方面的表现。
• 考察在非凹似然函数下，EM在可识别离散隐变量模型中是否仍具有一致性。

提出的方法

• 在不同数据规模和模型秩的合成HMM上，实证评估SL（通过LearnHMM实现）和EM。
• 使用奇异值分解（SVD）和张量分解，估计低阶经验矩（P1, P2,1, P3,x,1）以实现SL。
• 构建一个单参数HMM，包含2个状态和2个观测，以解析方式计算似然函数并可视化其形状。
• 将未归一化的似然曲线表示为狄利克雷分布的混合，以分析多峰性和收敛行为。
• 通过多次随机重启比较EM结果，评估一致性及局部最优的影响。
• 利用解析似然计算验证EM解是否超过真实似然值，以判断是否存在过拟合或一致性。

实验结果

研究问题

• RQ1 为何谱学习尽管具有理论一致性，却在实践中频繁产生负概率？
• RQ2 模型秩和训练数据规模如何影响谱学习中负概率的出现？
• RQ3 EM虽易受局部最优影响，是否仍可能优于谱学习？
• RQ4 在可识别的离散隐变量模型中，EM是否即使在似然函数非凹的情况下仍具有一致性？
• RQ5 为何EM在似然函数非凹且多峰时，仍常能找到高似然解？

主要发现

• 谱学习因模型秩估计错误或训练数据不足，频繁产生负概率，严重削弱其实际可用性。
• EM在似然值和预测准确率方面始终优于谱学习，尽管其缺乏理论一致性保证。
• 在可识别模型中，随着数据量增加，似然函数趋于单峰，解释了为何EM在实践中能避开劣质局部最优。
• EM解的似然值常高于真实参数，表明存在过拟合但不具不一致性，暗示EM在可识别设定下可能具有一致性。
• EM利用数据中的所有经验矩，比仅依赖低阶矩的SL更具数据效率。
• 本文挑战了EM本质上不一致的假设，表明其在可识别模型中可收敛至等价解。