[论文解读] Learning Model Reparametrizations: Implicit Variational Inference by Fitting MCMC distributions

Michalis K. Titsias|arXiv (Cornell University)|Aug 4, 2017

Gaussian Processes and Bayesian Inference参考文献 37被引用 16

一句话总结

本文提出了一种新颖的隐式变分推断方法，通过将马尔可夫链蒙特卡洛（MCMC）转移与可学习的基于模型的重参数化相结合，构建灵活且可微分的变分近似分布，而无需计算对数密度比。通过将重参数化技巧应用于MCMC导出的隐式分布，该方法在连续可微模型中实现了稳定且可扩展的优化，从而在复杂分布和变分自编码器上实现了更优的后验近似与生成性能。

ABSTRACT

We introduce a new algorithm for approximate inference that combines reparametrization, Markov chain Monte Carlo and variational methods. We construct a very flexible implicit variational distribution synthesized by an arbitrary Markov chain Monte Carlo operation and a deterministic transformation that can be optimized using the reparametrization trick. Unlike current methods for implicit variational inference, our method avoids the computation of log density ratios and therefore it is easily applicable to arbitrary continuous and differentiable models. We demonstrate the proposed algorithm for fitting banana-shaped distributions and for training variational autoencoders.

研究动机与目标

• 通过利用MCMC实现非参数化灵活性，解决变分推断中优化效率与近似灵活性之间的权衡。
• 在无需显式计算对数密度比的前提下，实现隐式变分分布的稳定可微分优化。
• 通过基于模型的重参数化，结合MCMC（灵活的非参数后验近似）与变分推断（快速可扩展的优化）的优势。
• 开发一种适用于任意连续可微模型的方法，支持摊销推断与端到端训练。

提出的方法

• 通过将确定性变换应用于MCMC转移核生成的样本，构建隐式变分分布，利用重参数化技巧实现可微性。
• 使用可学习的重参数化函数 $ L(\mathbf{x}) $ 和 $ \bm{\mu}(\mathbf{x}) $，将噪声变量 $ \bm{\epsilon} \sim q_{\text{MCMC}}(\bm{\epsilon}) $ 映射为潜在变量 $ \mathbf{z} = L(\mathbf{x})\bm{\epsilon} + \bm{\mu}(\mathbf{x}) $。
• 使用重参数化梯度的随机梯度下降优化变分下界 $ \mathcal{F}(\bm{\theta}) = \mathbb{E}_{q(\mathbf{z};\bm{\theta})}[\log p(\mathbf{x},\mathbf{z}) - \log q(\mathbf{z};\bm{\theta})] $。
• 采用哈密顿蒙特卡洛（HMC）或随机游走梅特罗波利斯-黑斯廷斯（MH）作为MCMC核，生成灵活且复杂的后验近似。
• 通过将MCMC输出视为隐式分布，避免计算对数密度比，从而在无需显式密度评估的前提下实现基于梯度的优化。
• 应用摊销推断：对于测试输入 $ \mathbf{x}_* $，生成 $ \bm{\epsilon}_* \sim q_{\text{MCMC}}(\bm{\epsilon}) $，然后计算 $ \mathbf{z}_* = L(\mathbf{x}_*)\bm{\epsilon}_* + \bm{\mu}(\mathbf{x}_*) $，实现快速后验采样。

实验结果

研究问题

• RQ1 MCMC转移能否用于构建灵活、隐式且可通过重参数化训练的变分分布？
• RQ2 避免显式计算对数密度比是否能提升隐式变分推断中的稳定性和可扩展性？
• RQ3 基于MCMC的重参数化能否在建模复杂后验分布方面优于标准高斯或归一化流基变分近似？
• RQ4 MCMC与重参数化的结合如何影响变分自编码器中训练的稳定性和重建质量？

主要发现

• 在MNIST测试数据上，HMC方法在潜在维度 $ n=5 $ 时达到 -104.1400 的交叉熵重建分数，优于标准高斯近似的 -111.2939。
• 当 $ n=10 $ 时，HMC方法达到 -82.3134 的交叉熵，优于高斯基线的 -87.3213，显示出更优的生成性能。
• 所提方法成功捕捉了复杂的香蕉形后验分布，证明其在灵活性上显著优于使用高斯近似的标准变分推断。
• 摊销推断实现了对测试数据的快速、基于样本的后验近似，无需重新运行优化，仅依赖MCMC与重参数化。
• 与需要对数密度比估计的现有隐式VI方法相比，该方法实现了更好的收敛性与训练稳定性。
• 该算法在合成后验与真实世界VAE训练中均表现出色，且无需显式密度评估。