[论文解读] A new SVD approach to optimal topic estimation

Zheng Tracy Ke, Minzhe Wang|arXiv (Cornell University)|Apr 24, 2017

Bayesian Modeling and Causal Inference参考文献 26被引用 32

一句话总结

本文提出了一种基于SVD的新方法，通过引入Pre-SVD归一化和列向缩放，揭示主题矩阵中隐藏的低维单纯形结构，实现最优主题估计。该方法在长文档或高n情形下，相比现有方法具有更快的收敛速度，并通过多项式矩阵奇异向量的紧致逐元素界提供了理论保证。

ABSTRACT

In the probabilistic topic models, the quantity of interest---a low-rank matrix consisting of topic vectors---is hidden in the text corpus matrix, masked by noise, and Singular Value Decomposition (SVD) is a potentially useful tool for learning such a matrix. However, different rows and columns of the matrix are usually in very different scales and the connection between this matrix and the singular vectors of the text corpus matrix are usually complicated and hard to spell out, so how to use SVD for learning topic models faces challenges. We overcome the challenges by introducing a proper Pre-SVD normalization of the text corpus matrix and a proper column-wise scaling for the matrix of interest, and by revealing a surprising Post-SVD low-dimensional {\it simplex} structure. The simplex structure, together with the Pre-SVD normalization and column-wise scaling, allows us to conveniently reconstruct the matrix of interest, and motivates a new SVD-based approach to learning topic models. We show that under the popular probabilistic topic model \citep{hofmann1999}, our method has a faster rate of convergence than existing methods in a wide variety of cases. In particular, for cases where documents are long or $n$ is much larger than $p$, our method achieves the optimal rate. At the heart of the proofs is a tight element-wise bound on singular vectors of a multinomially distributed data matrix, which do not exist in literature and we have to derive by ourself. We have applied our method to two data sets, Associated Process (AP) and Statistics Literature Abstract (SLA), with encouraging results. In particular, there is a clear simplex structure associated with the SVD of the data matrices, which largely validates our discovery.

研究动机与目标

• 为解决在文本语料中因噪声掩盖而难以估计低秩主题矩阵的问题，提出基于SVD的解决方案。
• 克服主题矩阵中行与列之间尺度差异及其与语料矩阵奇异向量之间复杂关系的挑战。
• 揭示主题向量中出人意料的Post-SVD低维单纯形结构，从而实现准确重建。
• 开发一种在概率主题模型下收敛速度优于现有方法的新方法。
• 建立多项式分布矩阵奇异向量的紧致逐元素界，填补现有文献中的空白。

提出的方法

• 对文本语料矩阵应用Pre-SVD归一化，以平衡行与列之间的尺度差异。
• 对感兴趣矩阵（主题向量）引入列向缩放，使其与SVD框架对齐。
• 在奇异向量中揭示Post-SVD低维单纯形结构，从而促进主题矩阵的重建。
• 利用所发现的单纯形结构，指导从语料矩阵SVD中估计主题向量。
• 推导出多项式分布数据矩阵奇异向量的紧致逐元素界，这对理论分析至关重要。
• 设计一种新的基于SVD的算法，利用归一化、缩放和单纯形结构，以提升主题估计性能。

实验结果

研究问题

• RQ1 尽管存在尺度不平衡及主题矩阵与语料矩阵之间复杂关系，SVD是否仍能有效用于主题模型估计？
• RQ2 在适当预处理后，文本语料矩阵奇异向量中是否存在隐藏的低维单纯形结构？
• RQ3 该单纯形结构的发现是否能带来主题估计中更快的收敛速度？
• RQ4 能否建立并推导出多项式矩阵奇异向量的紧致逐元素界？
• RQ5 所提出的方法在收敛速度和准确性方面是否优于现有基于SVD的主题建模方法？

主要发现

• 所提方法在广泛情形下实现了比现有方法更快的收敛速度，尤其在文档较长或文档数n远大于主题数p时表现更优。
• 在长文档或n相对于p较大的情况下，该方法达到了最优收敛速率，展现出理论上的优越性。
• 在Associated Press (AP)和Statistics Literature Abstract (SLA)数据集的SVD中，均经验观察到出人意料的Post-SVD低维单纯形结构，验证了理论发现。
• 该方法的性能建立在对多项式分布矩阵奇异向量的新型紧致逐元素界之上，该界在文献中此前尚不存在。
• 在AP和SLA数据集上的实证结果清晰显示出预测的单纯形结构，支持了该方法的理论基础。
• Pre-SVD归一化、列向缩放与单纯形结构利用的结合，实现了主题矩阵的精确且高效重建。