[论文解读] Importance Weighting and Variational Inference

Justin Domke, Daniel Sheldon|arXiv (Cornell University)|Aug 27, 2018

Gaussian Processes and Bayesian Inference被引用 51

一句话总结

IWVI 将 重要性加权 与 增强变分推理 联系起来，阐明其在纯粹概率推断中的用途，并通过椭圆分布和防御性采样显示改进。该论文在若干模型上提供理论联系与实证结果。

ABSTRACT

Recent work used importance sampling ideas for better variational bounds on likelihoods. We clarify the applicability of these ideas to pure probabilistic inference, by showing the resulting Importance Weighted Variational Inference (IWVI) technique is an instance of augmented variational inference, thus identifying the looseness in previous work. Experiments confirm IWVI's practicality for probabilistic inference. As a second contribution, we investigate inference with elliptical distributions, which improves accuracy in low dimensions, and convergence in high dimensions.

研究动机与目标

• 澄清 IWVI 如何将变分推断从仅仅用于学习扩展到纯粹的概率推断。
• 证明 IWVI 通过一个精确的生成过程，是增强型 VI 的一个实例。
• 研究椭圆分布和防御性采样在改进推断和收敛性方面的作用。

提出的方法

• 回顾 ELBO 的分解，并将 IW-ELBO 推导为对多样本估计的期望。
• 定义增强的联合分布 p_M 和 q_M，并证明它们的 ELBO 分解（IWVI 定理）。
• 将 IWVI 与自归一化重要性采样联系起来，并通过引理/定理结果量化差距。
• 分析在大 M 时 IW-ELBO 的渐近行为，将界限松弛与 R 的方差联系起来。
• 引入椭圆分布及用于鲁棒推断的广义重参数化（Elliptical VI）。
• 通过对 Dirichlet、clutter 模型以及带有 Cauchy 先验的逻辑回归的实验证明实际收益。

实验结果

研究问题

• RQ1 与标准 VI 相比，IWVI 如何收紧 log p(x) 的界限？
• RQ2 在增强型 VI 的背景下，IWVI 与自归一化重要性采样之间的精确关系是什么？
• RQ3 椭圆分布和防御性采样如何影响推断的准确性和收敛性？
• RQ4 IWVI 对后验期望和测试时的概率查询有哪些含义？

主要发现

• IWVI 通过对多个重要性加权项求平均，在 log p(x) 上得到更紧的 IW-ELBO 界限。
• 最大化 IW-ELBO 对应于最小化增强联合分布 q_M 与 p_M 之间的 KL 散度。
• IWVI 的差距可以分解为两个 KL 项，凸显其在推断目的上是在最小化一个上界。
• 随着 M 增大，界限的松弛由 R 的方差决定，将界限紧致性与重要性权重的方差联系起来。
• Elliptical VI 在低维度时提供小幅改进，在高维时实现更好收敛，特别是当 q 与 p 不太匹配时。
• 实证结果表明 IWVI 在各种合成和接近真实世界的情境中降低推断误差并提高鲁棒性。