[论文解读] Learning Topic Models and Latent Bayesian Networks Under Expansion Constraints

Animashree Anandkumar, Daniel Hsu+2 more|arXiv (Cornell University)|Sep 24, 2012

Bayesian Modeling and Causal Inference参考文献 67被引用 7

一句话总结

该论文提出了一种基于时刻的方法，仅使用二阶观测矩，在主题词矩阵或DAG结构的弱扩展约束下学习主题模型和潜在贝叶斯网络。关键贡献在于，在潜在变量之间存在任意相关性且无需对潜在因子的分布做假设的情况下，通过ℓ₁-正则化优化实现可识别性的可证明性和高效学习。

ABSTRACT

Unsupervised estimation of latent variable models is a fundamental problem central to numerous applications of machine learning and statistics. This work presents a principled approach for estimating broad classes of such models, including probabilistic topic models and latent linear Bayesian networks, using only second-order observed moments. The sufficient conditions for identifiability of these models are primarily based on weak expansion constraints on the topic-word matrix, for topic models, and on the directed acyclic graph, for Bayesian networks. Because no assumptions are made on the distribution among the latent variables, the approach can handle arbitrary correlations among the topics or latent factors. In addition, a tractable learning method via $\ell_1$ optimization is proposed and studied in numerical experiments.

研究动机与目标

• 解决无监督学习中潜在变量模型（包括主题模型和贝叶斯网络）的可识别性问题。
• 实现无需对潜在变量假设特定分布的学习方法，允许主题或潜在因子之间存在任意相关性。
• 建立仅使用二阶和三阶观测矩的可识别性的充分条件。
• 开发一种基于ℓ₁-优化的可处理学习算法，对模型误设具有鲁棒性。
• 在统一的扩展约束框架下，统一分析主题模型和贝叶斯网络。

提出的方法

• 该方法依赖于二阶观测矩（协方差矩阵）来估计模型参数，避免了高阶矩的估计。
• 它在主题-词矩阵上引入了一种弱扩展约束：每个主题子集在词集合中必须具有足够大的邻域，以确保可识别的结构。
• 对于贝叶斯网络，扩展性质定义在DAG结构上，要求每个隐藏节点子集必须有足够的传出边来影响观测变量。
• 该方法使用ℓ₁-正则化优化以恢复稀疏解，促进主题-词矩阵的列级稀疏性和DAG的边稀疏性。
• 通过幂迭代实现ECA（特征向量成分分析）步骤，使计算可扩展。
• 通过在层次模型和基于DAG的模型上的数值实验验证了该方法，结果表明随着样本量增加，算法具有收敛性。

实验结果

研究问题

• RQ1 能否仅使用二阶矩识别具有任意潜在主题分布的主题模型？
• RQ2 在何种条件下，可以从观测的二阶矩中识别潜在贝叶斯网络？
• RQ3 主题-词矩阵或DAG结构上的扩展约束如何在不假设潜在变量分布的情况下确保可识别性？
• RQ4 ℓ₁-正则化在高维潜在模型中恢复稀疏、可识别解的过程中起什么作用？
• RQ5 该学习算法的性能如何随样本量和模型复杂度而变化？

主要发现

• 该论文证明，在扩展约束下，主题-词矩阵的列是列空间中最稀疏的向量，从而实现了主题的唯一识别。
• 在层次主题模型中，该方法在估计系数矩阵方面表现出高精度，误差随样本量增加而减小。
• 在贝叶斯网络实验中，真实与估计的系数矩阵（Λ）之间的距离从20万样本时的0.7933降至50万样本时的0.1778，召回率接近1。
• 在50万样本下，估计A矩阵（观测到隐藏变量的系数）的精确率为0.3352，召回率为0.9751，表明对非零边的恢复能力很强。
• 该方法成功学习了具有非高斯噪声和偏态分布的模型，表明其对分布假设具有鲁棒性。
• 理论分析证实，在扩展条件下，通用参数值可实现可识别性，即使主题之间存在任意相关性。