[论文解读] Model reparametrization for improving variational inference

Linda S. L. Tan|arXiv (Cornell University)|May 18, 2018

Gaussian Processes and Bayesian Inference被引用 1

一句话总结

本文提出模型重参数化，通过可逆仿射变换减少全局变量与局部变量之间的后验依赖，从而提升层次模型中变分贝叶斯推断的性能。该方法基于局部条件后验的二阶泰勒展开推导，相较于最先进高斯变分推断方法，在广义线性混合模型中显著提升了精度与收敛速度。

ABSTRACT

We propose using model reparametrization to improve variational Bayes inference for hierarchical models whose variables can be classified as global (shared across observations) or local (observation specific). Posterior dependence between local and global variables is minimized by applying an invertible affine transformation on the local variables. The functional form of this transformation is deduced by approximating the posterior distribution of each local variable conditional on the global variables by a Gaussian density via a second order Taylor expansion. Variational Bayes inference for the reparametrized model is then obtained using stochastic approximation. Our approach can be readily extended to large datasets via a divide and recombine strategy. Using generalized linear mixed models, we demonstrate that reparametrized variational Bayes (RVB) provides improvements in both accuracy and convergence rate compared to state of the art Gaussian variational approximation methods.

研究动机与目标

• 减少层次贝叶斯模型中全局变量与局部变量之间的后验依赖。
• 提升复杂层次模型中变分贝叶斯推断的精度与收敛速率。
• 通过分治-合并策略，开发适用于大规模数据集的可扩展推断方法。
• 通过引入模型重参数化，扩展高斯变分近似方法，以获得更优的后验近似。

提出的方法

• 对局部变量应用可逆仿射变换，以实现其与全局变量的解耦。
• 利用每个局部变量给定全局变量的条件后验的二阶泰勒展开推导变换参数。
• 通过该展开近似局部变量的条件后验为高斯分布。
• 在重参数化模型上使用随机近似进行变分推断。
• 采用分治-合并策略，将方法扩展至大规模数据集。
• 利用重参数化模型提升广义线性混合模型中后验均值与方差的估计精度。

实验结果

研究问题

• RQ1 如何通过减少全局与局部变量之间的后验依赖来改进变分推断？
• RQ2 何种变换策略能在层次模型中实现更优的后验近似？
• RQ3 重参数化能否提升大规模数据集中变分贝叶斯推断的收敛速度与精度？
• RQ4 所提出方法与现有高斯变分推断方法在层次模型中的表现如何比较？
• RQ5 通过分治-合并策略，该重参数化方法在多大程度上可实现可扩展性？

主要发现

• 重参数化变分贝叶斯（RVB）在广义线性混合模型中相比最先进高斯变分近似方法具有更高的精度。
• RVB相较于现有变分推断方法展现出更快的收敛速率。
• 该方法通过最优仿射变换有效降低了全局与局部变量之间的后验依赖。
• 采用二阶泰勒近似可准确将局部条件后验近似为高斯分布。
• 分治-合并策略使方法在大规模数据集上实现可扩展推断，同时保持精度。
• 实证结果证实，RVB在层次模型中同时提升了估计精度与收敛效率。