[论文解读] Importance Weighted Hierarchical Variational Inference

Artem Vladimirovich Sobolev, Dmitry Vetrov|arXiv (Cornell University)|Jan 1, 2019

Machine Learning and Algorithms被引用 5

一句话总结

本文提出了重要性加权分层变分推断（IWHVI），这是一种新型的变分界家族，通过构建对难以计算的证据下界（evidence lower bound）的越来越紧的下界，使分层变分后验更加具有表现力。该方法推广了现有的方法，如分层VAE和半隐式变分推断，在实验评估中表现出更优的性能。

ABSTRACT

Variational Inference is a powerful tool in the Bayesian modeling toolkit, however, its effectiveness is determined by the expressivity of the utilized variational distributions in terms of their ability to match the true posterior distribution. In turn, the expressivity of the variational family is largely limited by the requirement of having a tractable density function. To overcome this roadblock, we introduce a new family of variational upper bounds on a marginal log-density in the case of hierarchical models (also known as latent variable models). We then derive a family of increasingly tighter variational lower bounds on the otherwise intractable standard evidence lower bound for hierarchical variational distributions, enabling the use of more expressive approximate posteriors. We show that previously known methods, such as Hierarchical Variational Models, Semi-Implicit Variational Inference and Doubly Semi-Implicit Variational Inference can be seen as special cases of the proposed approach, and empirically demonstrate superior performance of the proposed method in a set of experiments.

研究动机与目标

• 解决标准变分推断在表达复杂后验分布时的局限性，原因在于对可计算密度的要求。
• 为分层模型开发一系列越来越紧致的变分下界，以改善后验近似。
• 在统一框架下整合并推广现有方法，如分层VAE、半隐式变分推断和双重半隐式变分推断。
• 在保持潜变量模型计算可处理性的前提下，使更具有表现力的变分族得以应用。

提出的方法

• 基于重要性加权原理，提出一种新的分层模型边缘对数密度的上界家族。
• 通过利用分层结构，构建一系列对标准证据下界（ELBO）越来越紧致的变分下界。
• 引入一种分层变分族，允许更具有表现力的后验近似，而无需显式计算密度。
• 采用重要性加权来优化真实后验的近似，从而提升变分界的质量。
• 推导出ELBO的一般化形式，使其可容纳半隐式和双重半隐式后验作为特例。
• 利用分层结构解耦潜变量，提升变分近似的灵活性。

实验结果

研究问题

• RQ1 我们能否为分层模型构建更紧致的变分界，以实现更具有表现力的后验近似？
• RQ2 所提出的方法相较于分层VAE和半隐式变分推断等现有方法有何改进？
• RQ3 分层结构与重要性加权在潜变量模型中的后验估计方面能提升到何种程度？
• RQ4 所提出的框架能否在统一的理论框架下整合并推广现有的变分推断方法？

主要发现

• 与标准ELBO相比，所提出的方法实现了更紧致的变分界，从而更准确地近似真实后验分布。
• 该方法将现有方法如分层VAE和半隐式变分推断作为特例进行推广，展现出更广泛的应用潜力。
• 实验结果表明，在一系列分层建模任务中，该方法在性能上优于基线方法。
• 在分层结构中使用重要性加权，可在不牺牲计算可处理性的前提下，实现更精确的后验估计。