[论文解读] Beyond LDA: A Unified Framework for Learning Latent Normalized Infinitely Divisible Topic Models through Spectral Methods.

Forough Arabshahi, Animashree Anandkumar|arXiv (Cornell University)|May 30, 2016

Topic Modeling参考文献 12被引用 4

一句话总结

本文提出了一种统一的谱框架，用于在LDA之外学习主题模型，通过使用归一化的无限可分（NID）分布对主题比例进行建模，从而实现任意的主题相关性。该文证明了仅通过三阶矩即可实现保证学习，借助仅依赖单变量积分的高效对角化过程，实现了多项式样本复杂度和计算复杂度。

ABSTRACT

In this paper we propose guaranteed spectral methods for learning a broad range of topic models, which generalize the popular Latent Dirichlet Allocation (LDA). We overcome the limitation of LDA to incorporate arbitrary topic correlations, by assuming that the hidden topic proportions are drawn from a flexible class of Normalized Infinitely Divisible (NID) distributions. NID distributions are generated through the process of normalizing a family of independent Infinitely Divisible (ID) random variables. The Dirichlet distribution is a special case obtained by normalizing a set of Gamma random variables. We prove that this flexible topic model class can be learnt via spectral methods using only moments up to the third order, with (low order) polynomial sample and computational complexity. The proof is based on a key new technique derived here that allows us to diagonalize the moments of the NID distribution through an efficient procedure that requires evaluating only univariate integrals, despite the fact that we are handling high dimensional multivariate moments.

研究动机与目标

• 通过将主题比例分布推广至狄利克雷先验之外，克服LDA在建模任意主题相关性方面的局限性。
• 开发一种统一的学习框架，用于广泛类别的主题模型，采用谱方法。
• 仅使用低阶矩（最高至三阶）确保这些模型的保证学习。
• 在学习模型参数时实现多项式样本复杂度和计算复杂度。
• 设计一种高效的对角化技术，通过单变量积分实现高维多变量矩的处理。

提出的方法

• 使用归一化的无限可分（NID）分布对主题比例进行建模，这是一种灵活的分布类，可推广狄利克雷分布。
• 利用词共现统计的三阶矩来捕捉数据中的高阶依赖关系。
• 开发一种新颖的对角化过程，将高维多变量矩转换为适合谱分解的形式。
• 通过一种关键的分析技术，将多变量矩的计算减少为仅需计算单变量积分。
• 利用三阶矩张量的谱分解来一致地估计模型参数。
• 通过依赖低阶矩估计和高效积分计算，确保多项式样本复杂度和计算复杂度。

实验结果

研究问题

• RQ1 能否开发一种统一的谱框架，用于学习通过NID分布推广LDA并允许任意主题相关性的主题模型？
• RQ2 是否可能仅使用三阶矩来学习基于NID的主题模型并保证收敛？
• RQ3 能否在不依赖高维积分的情况下，高效地对高维多变量矩进行对角化？
• RQ4 使用谱方法学习此类模型的计算复杂度和样本复杂度是多少？
• RQ5 所提出的方法能否在保持统计一致性的同时实现多项式复杂度？

主要发现

• 所提出的框架通过NID分布推广LDA，实现了对具有任意主题相关性的主题模型的学习。
• 该模型仅使用三阶矩即可学习，从而确保了低计算复杂度和低样本复杂度。
• 一种新颖的对角化技术通过将高维多变量矩简化为单变量积分，实现了对高维多变量矩的高效处理。
• 该方法实现了多项式样本复杂度和计算复杂度，使其具有可扩展性和实用性。
• 理论框架在谱学习范式下保证了参数估计的一致性。
• 该方法通过将狄利克雷分布作为NID分布的特例，推广了LDA。