[论文解读] Online but Accurate Inference for Latent Variable Models with Local Gibbs Sampling

Dupuy, Christophe, Bach, Francis|arXiv (Cornell University)|Mar 8, 2016

Domain Adaptation and Few-Shot Learning参考文献 34被引用 30

一句话总结

本文提出了一种新颖的在线推理方法，用于潜变量模型，采用局部Gibbs采样，在大规模设置下实现了准确且可扩展的参数估计。通过将马尔可夫链蒙特卡洛（MCMC）技术适配于基于每条观测的Gibbs更新的在线学习，该方法在潜在空间维度更高的潜在狄利克雷分布（LDA）中，相较于变分推理和贝叶斯方法，实现了更优的测试对数似然值。

ABSTRACT

We study parameter inference in large-scale latent variable models. We first propose an unified treatment of online inference for latent variable models from a non-canonical exponential family, and draw explicit links between several previously proposed frequentist or Bayesian methods. We then propose a novel inference method for the frequentist estimation of parameters, that adapts MCMC methods to online inference of latent variable models with the proper use of local Gibbs sampling. Then, for latent Dirich-let allocation,we provide an extensive set of experiments and comparisons with existing work, where our new approach outperforms all previously proposed methods. In particular, using Gibbs sampling for latent variable inference is superior to variational inference in terms of test log-likelihoods. Moreover, Bayesian inference through variational methods perform poorly, sometimes leading to worse fits with latent variables of higher dimensionality.

研究动机与目标

• 在非共轭指数族框架下，统一并比较现有的潜变量模型在线推理方法。
• 解决具有不可计算后验分布的模型（如LDA）在在线参数估计中的可扩展性与准确性差距问题。
• 开发一种新的频派在线推理方法，利用局部Gibbs采样以提升收敛速度与预测性能。
• 在多种数据集上，通过测试对数似然与困惑度指标，对所提方法与最先进方法进行实证评估。

提出的方法

• 提出一种统一的在线推理框架，适用于非共轭指数族模型，连接频派与贝叶斯方法。
• 提出一种新颖的在线算法，采用局部Gibbs采样——即对每条新到达的数据点单独更新潜变量，而非全局更新。
• 在在线数据流中对单个观测应用MCMC采样，保持充分统计量并增量式更新模型参数。
• 采用随机逼近方案，利用来自局部Gibbs样本的充分统计量来更新模型参数。
• 采用非独立同分布（non-i.i.d.）数据流设置，其中每条新观测在参数更新前触发一次局部Gibbs更新。
• 对狄利克雷先验超参数α采用固定点更新与伽马先验更新两种策略，并在不同方法间比较性能。

实验结果

研究问题

• RQ1 如何将基于MCMC的推理方法适配于潜变量模型中具有不可计算后验的在线学习？
• RQ2 在非共轭指数族背景下，现有在线推理方法之间的关键差异与联系是什么？
• RQ3 在在线设置中，局部Gibbs采样是否在预测性能（如测试对数似然）方面优于变分推理？
• RQ4 潜变量的维度如何影响变分贝叶斯方法与基于MCMC的在线推理方法的性能？
• RQ5 在线Gibbs采样是否能在LDA中实现比最先进在线变分推理更优的收敛性与更低的困惑度？

主要发现

• 所提出的在线Gibbs采样方法在所有数据集和主题维度下，测试对数似然值均显著优于变分推理。
• 在LDA中，该方法在困惑度指标上优于所有先前提出的在线推理技术，包括OLDA与SVB。
• 变分贝叶斯推理在高维潜空间中表现欠佳，有时甚至比低维情况的拟合效果更差。
• ELBO（证据下界）收敛迅速，且在增加内部迭代次数后不再显著提升，表明其过早收敛至次优局部最大值。
• 在大多数情况下，使用固定点更新α的性能优于伽马先验，尤其在G-OEM与G-OEM++中表现更优。
• 当κ = 1/2且α采用任意更新策略时，该方法与SPLDA等价，但性能在κ = 1/2与任何α更新策略结合时进一步提升。