[论文解读] Hybrid Variational/Gibbs Collapsed Inference in Topic Models

Max Welling, Yee Whye Teh+1 more|arXiv (Cornell University)|Jun 13, 2012

Bayesian Methods and Mixture Models参考文献 14被引用 19

一句话总结

本文提出了一种主题模型的混合推理算法，结合了大计数下的变分推理与小计数下的凝聚吉布斯采样，相较于仅使用变分推理，实现了更低的测试集困惑度，且无额外计算成本。该方法利用吉布斯采样在稀疏数据中无偏差的特性，以及变分推理在高频词上的高效性，从而提升了生成性能。

ABSTRACT

Variational Bayesian inference and (collapsed) Gibbs sampling are the two important classes of inference algorithms for Bayesian networks. Both have their advantages and disadvantages: collapsed Gibbs sampling is unbiased but is also inefficient for large count values and requires averaging over many samples to reduce variance. On the other hand, variational Bayesian inference is efficient and accurate for large count values but suffers from bias for small counts. We propose a hybrid algorithm that combines the best of both worlds: it samples very small counts and applies variational updates to large counts. This hybridization is shown to significantly improve testset perplexity relative to variational inference at no computational cost.

研究动机与目标

• 解决变分推理在小计数下存在偏差，以及凝聚吉布斯采样在大计数下效率低下的权衡问题。
• 开发一种统一的推理框架，充分利用变分推理与吉布斯采样方法的优势。
• 在不增加计算成本的前提下，降低主题模型的测试集困惑度。
• 通过根据计数大小动态分配推理策略，提高推理准确性。

提出的方法

• 该算法根据阈值将主题模型中的词计数划分为小计数和大计数两类。
• 对于小计数（通常低于阈值），采用凝聚吉布斯采样以避免偏差。
• 对于大计数，则使用变分贝叶斯推理以保持计算效率。
• 通过修改推理过程中的条件分布，使混合策略在采样与变分更新之间切换。
• 该方法保持了标准LDA的模型结构，但修改了推理过程，以根据每个计数的大小自适应选择最优的推理类型。
• 该方法在标准主题建模基准上进行了评估，以测试集困惑度为主要指标。

实验结果

研究问题

• RQ1 与纯变分推理相比，混合推理策略是否能改善主题模型的测试集困惑度？
• RQ2 结合小计数的吉布斯采样与大计数的变分推理，是否能优于单独使用任一方法？
• RQ3 与完整吉布斯采样相比，所提出的混合方法在计算效率上是否更优？
• RQ4 小计数与大计数之间的阈值如何影响混合算法的性能？
• RQ5 该混合方法能否在保证频繁词效率的同时，实现对罕见词的无偏推理？

主要发现

• 与标准变分推理相比，该混合方法在基准主题模型上实现了显著更低的测试集困惑度。
• 该困惑度的改善在多个数据集上均被观察到，表明性能提升具有一致性。
• 与变分推理相比，该方法未引入额外的计算成本，因为混合化过程无需额外的采样步骤。
• 该算法有效降低了低计数区域的偏差，同时在高计数区域保持了高效性。
• 结果表明，将小计数的采样与大计数的变分更新相结合，相比单独使用任一方法，能实现更好的泛化性能。