[论文解读] Stochastic Structured Variational Inference

Matthew D. Hoffman, David M. Blei|arXiv (Cornell University)|Apr 16, 2014

Gaussian Processes and Bayesian Inference被引用 41

一句话总结

本文提出随机结构化变分推断，一种通过建模全局参数与局部隐变量之间任意依赖关系来放松均值场假设的方法。通过使用具有结构化变分族的随机优化，该方法在减少偏差、降低对局部最优解和超参数的敏感性方面实现了更精确的后验近似，并在大规模数据集上提升了参数估计性能。

ABSTRACT

Stochastic variational inference makes it possible to approximate posterior distributions induced by large datasets quickly using stochastic optimization. The algorithm relies on the use of fully factorized variational distributions. However, this independence approximation limits the fidelity of the posterior approximation, and introduces local optima. We show how to relax the mean-field approximation to allow arbitrary dependencies between global parameters and local hidden variables, producing better parameter estimates by reducing bias, sensitivity to local optima, and sensitivity to hyperparameters.

研究动机与目标

• 为解决均值场变分推断在近似复杂后验分布时的局限性。
• 在大规模贝叶斯推断中减少偏差以及对局部最优解和超参数的敏感性。
• 实现能够捕捉全局参数与局部隐变量之间依赖关系的灵活、结构化的变分近似。
• 开发一种与大规模数据集兼容的可扩展随机优化框架。

提出的方法

• 提出一种结构化变分族，显式建模全局参数与局部隐变量之间的依赖关系，突破完全因子化近似的限制。
• 通过采样数据的小批量来使用随机优化，将推断过程扩展到大规模数据集。
• 采用重参数化技巧，实现对结构化族中变分参数的基于梯度的优化。
• 推导出一个考虑变分分布中结构化依赖关系的边缘似然下界（证据下界）。
• 引入变分下界的一种随机近似，以支持在线学习和高效优化。

实验结果

研究问题

• RQ1 是否可以通过在全局变量与局部变量之间建模任意依赖关系的结构化变分推断来提升后验近似的质量？
• RQ2 放松均值场假设是否能减少大规模贝叶斯模型中的偏差和超参数敏感性？
• RQ3 随机优化能否在不牺牲可扩展性的前提下有效应用于结构化变分族？
• RQ4 与标准的均值场变分推断相比，所提出的方法在收敛性和参数估计精度方面表现如何？

主要发现

• 与均值场变分推断相比，结构化变分方法显著降低了近似偏差。
• 实验评估表明，该方法对局部最优解和超参数选择的敏感性更低。
• 随机优化使得在大规模数据集上实现可扩展推断成为可能，同时保持了高质量的后验近似。
• 通过捕捉全局变量与局部变量之间的有意义依赖关系，所提出方法提升了参数估计的准确性。