[论文解读] Inference Networks for Sequential Monte Carlo in Graphical Models

Brooks Paige, Frank Wood|arXiv (Cornell University)|Feb 22, 2016

Gaussian Processes and Bayesian Inference参考文献 35被引用 51

一句话总结

本文提出推理网络——一种经过学习的、结构化的神经网络，作为有向图模型中顺序蒙特卡洛（SMC）的高质量、模型特定的提议分布。通过离线训练这些网络以近似生成模型的随机逆，该方法在各类问题中显著加速了SMC推理，大幅减少了粒子退化和重采样需求，尤其在高维或多重模式后验分布中表现更优。

ABSTRACT

We introduce a new approach for amortizing inference in directed graphical models by learning heuristic approximations to stochastic inverses, designed specifically for use as proposal distributions in sequential Monte Carlo methods. We describe a procedure for constructing and learning a structured neural network which represents an inverse factorization of the graphical model, resulting in a conditional density estimator that takes as input particular values of the observed random variables, and returns an approximation to the distribution of the latent variables. This recognition model can be learned offline, independent from any particular dataset, prior to performing inference. The output of these networks can be used as automatically-learned high-quality proposal distributions to accelerate sequential Monte Carlo across a diverse range of problem settings.

研究动机与目标

• 自动化有向图模型中顺序蒙特卡洛（SMC）推理的高质量提议分布设计，减少对手动调参的依赖。
• 通过离线学习一个识别模型，实现推理的摊销化，使其可复用于多个数据集和观测结果。
• 解决在似然函数高度信息丰富或具有多重模式时，基于先验的提议在SMC中效率低下的问题。
• 提供一种结构化、可解释的神经网络方法，近似生成模型的随机逆，以提升提议质量。
• 在具有组合式潜变量空间和不连通模式的复杂模型（如因子HMM）中提升SMC效率。

提出的方法

• 该方法学习一个结构化神经网络，将观测变量和先前状态映射为潜变量后验分布的近似，作为SMC中的提议分布。
• 通过最小化真实后验与提议分布之间的KL散度来训练推理网络，使用可微分的SMC重要性权重近似作为变分目标。
• 该网络为自回归结构，同时依赖于当前观测和先前状态，支持潜变量的序列建模。
• 模型使用已知生成模型生成的合成数据进行离线训练，而非真实数据，从而确保对数据分布偏移的鲁棒性。
• 通过用神经网络输出替换标准先验提议，将提议网络集成到SMC中，提升了粒子多样性与有效样本量。
• 该方法在PyTorch中实现，并在包括层次模型和含20台设备的因子HMM在内的多种模型上进行评估，展示了更高的采样效率。

实验结果

研究问题

• RQ1 能否在离线状态下训练神经网络，以学习有向图模型中SMC的高质量提议分布？
• RQ2 与标准基于先验的提议相比，所学提议在粒子退化和有效样本量方面的性能如何？
• RQ3 该方法是否能在不重新训练的情况下泛化到同一模型的不同观测结果？
• RQ4 在多重模式或高维后验分布中，使用结构化神经网络是否能提升提议质量？
• RQ5 通过提升提议质量，该方法是否能减少SMC中的重采样需求？

主要发现

• 在含20台设备的因子HMM中，所学提议显著降低了粒子退化，在30个时间步内保持了更高的有效样本量，优于基于先验的提议。
• 所学提议下，独特粒子谱系数量显著更高，表明在不连通模式间具有更好的混合能力。
• 该方法在10次运行中表现稳定，存活粒子的均值与标准差显示持续改进。
• 推理网络通过提供更具多样性与代表性的提议，减少了对重采样的依赖，尤其在高似然区域表现更优。
• 提议网络的离线训练实现了新数据上的快速推理而无需重新训练，证明了推理成本的摊销化。
• 在似然函数呈紧密峰值的模型中，该方法优于基线的Bootstrap SMC，因为基于先验的提议在统计上效率低下。