[论文解读] Using probabilistic programs as proposals

Marco Cusumano-Towner, Vikash K. Mansinghka|arXiv (Cornell University)|Jan 11, 2018

Bayesian Modeling and Causal Inference参考文献 19被引用 5

一句话总结

本文提出了'提案程序'——一种将用户对后验分布的知识编码为概率程序，以改进马尔可夫链蒙特卡洛推理的模型。通过结合领域特定启发式方法（如RANSAC）与神经网络，这些程序为重要性采样和梅特罗波利斯-黑斯廷斯算法生成高效且一致的提案。该方法支持通过随机梯度下降实现离线优化，同时保持渐近一致性。

ABSTRACT

Monte Carlo inference has asymptotic guarantees, but can be slow when using generic proposals. Handcrafted proposals that rely on user knowledge about the posterior distribution can be efficient, but are difficult to derive and implement. This paper proposes to let users express their posterior knowledge in the form of proposal programs, which are samplers written in probabilistic programming languages. One strategy for writing good proposal programs is to combine domain-specific heuristic algorithms with neural network models. The heuristics identify high probability regions, and the neural networks model the posterior uncertainty around the outputs of the algorithm. Proposal programs can be used as proposal distributions in importance sampling and Metropolis-Hastings samplers without sacrificing asymptotic consistency, and can be optimized offline using inference compilation. Support for optimizing and using proposal programs is easily implemented in a sampling-based probabilistic programming runtime. The paper illustrates the proposed technique with a proposal program that combines RANSAC and neural networks to accelerate inference in a Bayesian linear regression with outliers model.

研究动机与目标

• 为解决在马尔可夫链蒙特卡洛推理中设计高效提案分布的挑战，要求提案分布既准确又可扩展。
• 使用户能够通过可执行的概率程序表达对后验结构的领域特定知识，而非手动编码提案分布。
• 为在重要性采样和梅特罗波利斯-黑斯廷斯算法中使用这些程序作为提案分布提供正式框架，同时不牺牲渐近一致性。
• 开发一种基于随机梯度下降的离线优化程序，用于训练提案程序参数。
• 展示将启发式算法与神经网络结合于提案程序中，在复杂模型中加速推理的实用有效性。

提出的方法

• 提案程序被定义为具有指定输出选择和内部随机选择的概率程序，提案概率在执行过程中被估计。
• 该方法支持将这些程序作为重要性采样和梅特罗波利斯-黑斯廷斯算法中的提案分布，具有渐近一致性的理论保证。
• 提出一种基于蒙特卡洛变分目标的随机梯度下降算法，用于离线学习提案程序参数。
• 该方法结合了随机化启发式算法（如RANSAC）以识别后验的高概率区域，以及神经网络以建模这些区域周围的不确定性。
• 在基于采样的概率编程运行时中实现，示例代码使用Gen.jl（一种基于Julia的概率编程语言）。
• 该框架支持嵌套推理和替代轨迹分布，以改进提案概率估计，同时复用现有的推理机制。

实验结果

研究问题

• RQ1 能否在马尔可夫链蒙特卡洛推理中使用概率程序作为提案分布，同时保持渐近一致性？
• RQ2 如何在提案程序中将领域特定的启发式算法与神经网络结合，以提高采样效率？
• RQ3 何种优化过程可实现使用随机梯度下降对提案程序参数进行有效离线训练？
• RQ4 在模拟与评估过程中，内部重复次数如何影响使用提案程序的马尔可夫链蒙特卡洛推理效率？
• RQ5 提案程序能否在不修改底层推理引擎的前提下，高效地实现在基于采样的概率编程运行时中？

主要发现

• 即使使用估计的提案概率而非精确值，提案程序在重要性采样和梅特罗波利斯-黑斯廷斯算法中仍保持渐近一致性。
• 通过随机梯度下降实现的离线优化可有效学习提案程序参数，在实践中显著提升收敛速度与准确性。
• 在含异常值的贝叶斯线性回归模型中，将RANSAC与神经网络结合于提案程序中，可显著加速推理。
• 该方法支持提案程序内部任意的随机选择，允许生成复杂且结构化的提案分布，且独立于目标模型的结构。
• 该框架具有可扩展性，可仅通过最小改动集成到现有概率编程系统中。
• 未来工作表明，嵌套推理和替代轨迹分布可进一步提升提案概率估计与采样效率。