[论文解读] Model Selection for Topic Models via Spectral Decomposition

Dehua Cheng, Xinran He+1 more|arXiv (Cornell University)|Oct 23, 2014

Bayesian Methods and Mixture Models参考文献 19被引用 3

一句话总结

本文提出了一种基于二阶矩谱分解的、理论基础扎实的主题模型选择方法。在弱假设下分析经验与真实二阶矩，推导出潜在狄利克雷分配（LDA）中主题数 $K$ 的可证明上界和下界，提供紧密且可计算的边界，已在合成数据上验证，并可推广至其他模型（如高斯混合模型）。

ABSTRACT

Topic models have achieved significant successes in analyzing large-scale text corpus. In practical applications, we are always confronted with the challenge of model selection, i.e., how to appropriately set the number of topics. Following recent advances in topic model inference via tensor decomposition, we make a first attempt to provide theoretical analysis on model selection in latent Dirichlet allocation. Under mild conditions, we derive the upper bound and lower bound on the number of topics given a text collection of finite size. Experimental results demonstrate that our bounds are accurate and tight. Furthermore, using Gaussian mixture model as an example, we show that our methodology can be easily generalized to model selection analysis for other latent models.

研究动机与目标

• 为解决主题模型中模型选择的关键挑战，特别是LDA中主题数 $K$ 的最优确定问题。
• 通过二阶矩的经验谱分解，提供理论基础扎实且可计算的 $K$ 边界。
• 将该方法扩展至LDA以外的其他潜在混合模型，如高斯混合模型（GMM）。
• 克服现有方法（如交叉验证、AIC/BIC以及基于MCMC的边际似然估计）的局限性，这些方法计算成本高或缺乏理论一致性。
• 为迭代式模型选择提供一种实用且高效的替代方案，避免在不同 $K$ 值上多次运行。

提出的方法

• 该方法分析从文档集合中词共现统计构建的经验二阶矩矩阵 $\hat{\mathbf{M}}_2$。
• 基于语料库统计量（文档数 $D$、平均文档长度 $L$、词汇表大小 $V$）推导出 $\hat{\mathbf{M}}_2 - \mathbf{M}_2$ 的方差上界。
• 对奇异值进行阈值处理的谱分解被用于识别显著分量的数量，对应于真实主题数 $K$。
• 通过分析真实矩 $\mathbf{M}_2$ 的谱结构以及 $\hat{\mathbf{M}}_2$ 在其周围的集中性，推导出 $K$ 的理论边界。
• 下界通过统计经验矩矩阵 $\hat{\mathbf{M}}_2$ 中超过阈值 $\delta_\mathbf{R}$ 的奇异值数量获得，而上界则通过最大奇异值的集中不等式推导得出。
• 该方法通过分析数据点的二阶矩，推广至高斯混合模型，推导出类似组件数的上下界。

实验结果

研究问题

• RQ1 在LDA中，二阶经验矩与真实主题数之间存在何种理论关系？
• RQ2 能否通过低阶矩的谱分解，推导出主题数 $K$ 的可证明上下界？
• RQ3 在有限样本设置下（特别是合成数据上），这些边界的紧密性和准确性如何？
• RQ4 所提出的方法能否推广至LDA以外的其他潜在混合模型（如高斯混合模型）？
• RQ5 这些边界成立的关键假设是什么？它们如何影响实际适用性？

主要发现

• 本文通过集中不等式，界定了经验矩与真实矩之间差异的谱范数，推导出主题数 $K$ 的可证明上界。
• 通过统计经验矩矩阵 $\hat{\mathbf{M}}_2$ 中超过阈值 $\delta_\mathbf{R}$ 的奇异值数量，建立了 $K$ 的下界，该阈值依赖于语料规模和方差。
• 在合成LDA数据集上，理论边界被证明紧密且准确，边界值与真实 $K$ 值非常接近。
• 该方法可推广至高斯混合模型，通过分析数据点的二阶矩，推导出类似数量的上下界。
• 这些边界仅依赖于数据统计量即可计算，无需在多个 $K$ 值上迭代训练，因此在大规模数据上具有高效性。
• 该方法为传统模型选择准则（如AIC、BIC或交叉验证）提供了一种非迭代、理论基础扎实的替代方案，特别适用于主题模型场景。