[论文解读] A Spectral Algorithm for Latent Dirichlet Allocation

Animashree Anandkumar, Dean P. Foster+3 more|arXiv (Cornell University)|Apr 30, 2012

Bayesian Methods and Mixture Models参考文献 27被引用 171

一句话总结

该论文提出了一种谱方法，即超额相关分析（Excess Correlation Analysis, ECA），利用三阶和四阶矩张量，仅通过三元组统计即可精确恢复潜在狄利克雷分配（Latent Dirichlet Allocation, LDA）中的主题-词分布和狄利克雷先验。该方法依赖于两次对 $k \times k$ 矩阵（$k$ 为主题数量）进行奇异值分解（SVD），实现了无需迭代优化的可扩展且可证明一致的参数估计。

ABSTRACT

The problem of topic modeling can be seen as a generalization of the clustering problem, in that it posits that observations are generated due to multiple latent factors (e.g., the words in each document are generated as a mixture of several active topics, as opposed to just one). This increased representational power comes at the cost of a more challenging unsupervised learning problem of estimating the topic probability vectors (the distributions over words for each topic), when only the words are observed and the corresponding topics are hidden. We provide a simple and efficient learning procedure that is guaranteed to recover the parameters for a wide class of mixture models, including the popular latent Dirichlet allocation (LDA) model. For LDA, the procedure correctly recovers both the topic probability vectors and the prior over the topics, using only trigram statistics (i.e., third order moments, which may be estimated with documents containing just three words). The method, termed Excess Correlation Analysis (ECA), is based on a spectral decomposition of low order moments (third and fourth order) via two singular value decompositions (SVDs). Moreover, the algorithm is scalable since the SVD operations are carried out on $k imes k$ matrices, where $k$ is the number of latent factors (e.g. the number of topics), rather than in the $d$-dimensional observed space (typically $d \gg k$).

研究动机与目标

• 开发一种可证明一致且非迭代的方法，仅从观测到的词共现中学习LDA参数。
• 解决在主题未被观测时估计潜在主题分布和狄利克雷先验的挑战。
• 通过将SVD操作从 $d$ 维观测空间减少到 $k \times k$ 潜在空间（$k \ll d$），实现可扩展推理。
• 将该方法推广至LDA以外的可交换和多视角混合模型。
• 为主题建模提供一种样本高效、基于矩的替代方案，以替代EM、Gibbs采样或变分推断。

提出的方法

• 该方法利用观测词三元组或四元组的三阶和四阶中心矩，捕捉超越成对相关性的高阶依赖关系。
• 采用两步SVD流程：首先对二阶相关矩阵进行SVD以执行白化变换，从而消除二阶结构。
• 其次，对由三阶或四阶矩导出的张量执行SVD，以提取反映超额峰度的方向，揭示潜在主题结构。
• 该算法利用文档内词的可交换性以及数据中的多视角结构，实现对矩的一致估计。
• 通过识别超额矩张量的主成分来恢复主题-词分布，这些主成分对应于真实主题。
• 该方法通过从数据中“即插即用”的矩估计实现，从而在有限样本下具备实际应用可行性。

实验结果

研究问题

• RQ1 非迭代谱方法能否仅使用低阶矩，精确恢复LDA中的全部参数——包括主题-词分布和狄利克雷先验？
• RQ2 是否可能仅使用三元组统计（即三阶矩）从三词文档中实现LDA的精确参数恢复？
• RQ3 如何通过在 $k \times k$ 矩阵而非 $d \times d$ 观测空间上操作，降低主题建模的计算成本？
• RQ4 该方法能否推广至LDA以外的可交换和多视角混合模型？
• RQ5 在LDA中，为实现一致的参数恢复，估计三阶矩的样本复杂度是多少？

主要发现

• 所提出的超额相关分析（ECA）算法仅使用三阶矩统计，即可精确恢复LDA中的主题-词分布和狄利克雷先验。
• 该方法仅需三词文档即可估计必要的三阶矩，从而实现从极短文本中学习。
• SVD操作在 $k \times k$ 矩阵上进行，其中 $k$ 为主题数量，使得该算法即使在高维词汇表（$d \gg k$）下也具有高度可扩展性。
• 在弱条件下该方法具有可证明的一致性，并在真实模型可识别时实现精确恢复。
• 该方法可推广至可交换和多视角混合模型，包括纯主题模型和离散隐马尔可夫模型。
• 样本复杂度分析表明，为实现 $\epsilon$-精度的参数估计，估计三阶矩需要 $O(1/\epsilon^2)$ 个样本，且提供了明确的界。