[论文解读] Amortized Rejection Sampling in Universal Probabilistic Programming

Saeid Naderiparizi, Adam Ścibior+10 more|arXiv (Cornell University)|Oct 20, 2019

Machine Learning and Algorithms参考文献 18被引用 4

一句话总结

本文提出了一种新型的近似重要性采样估计器，适用于通用概率编程语言，能够处理迭代次数无界的拒绝采样循环，确保在朴素方法失效时仍具有有限方差。通过基于条件接受概率对样本进行重加权，并对拒绝循环的结构进行积分，该方法实现了稳定且有限方差的推断，而无需对模型进行重写。

ABSTRACT

Naive approaches to amortized inference in probabilistic programs with unbounded loops can produce estimators with infinite variance. This is particularly true of importance sampling inference in programs that explicitly include rejection sampling as part of the user-programmed generative procedure. In this paper we develop a new and efficient amortized importance sampling estimator. We prove finite variance of our estimator and empirically demonstrate our method's correctness and efficiency compared to existing alternatives on generative programs containing rejection sampling loops and discuss how to implement our method in a generic probabilistic programming framework.

研究动机与目标

• 解决在具有无界拒绝采样循环的概率程序中，近似重要性采样因朴素估计器可能具有无限方差而导致的不稳定性问题。
• 开发一种即使在拒绝迭代次数无界时也能确保重要性采样估计器具有有限方差的方法。
• 提供一种通用、高效且正确的推断解决方案，与现有通用概率编程框架兼容。
• 通过实证结果证明，所提出的估计器在收敛稳定性和准确性方面优于朴素的推断编译方法。
• 形式化重要性采样在拒绝循环中保持有效且具有有限方差的理论条件。

提出的方法

• 该方法引入了一种重加权方案，考虑每个拒绝循环迭代的条件接受概率，将循环视为在给定接受条件下的随机过程。
• 它将重要性权重重新定义为条件密度的乘积，纳入每一步的接受概率，从而确保方差有限。
• 通过将原始生成程序转换为显式建模接受条件的等价形式，推导出估计器，从而实现权重的正确归一化。
• 该方法利用推断编译技术，通过训练神经网络来近似提议分布，但修改了权重计算方式以考虑循环结构。
• 该方法确保最终的重要性权重作为条件密度的乘积进行计算：w ∝ p(z|x, c(x,z)) / q(z|x,y, c(x,z))，其中 c(x,z) 表示接受。
• 理论分析证明，在温和的正则性条件下，即使拒绝迭代次数无界，所得估计器仍具有有限方差。

实验结果

研究问题

• RQ1 能否使具有无界拒绝采样循环的概率程序中的近似重要性采样稳定并具有有限方差？
• RQ2 当循环具有无界迭代次数时，对重要性权重计算需进行哪些修改，才能确保方差有限？
• RQ3 如何形式化地将拒绝采样循环的结构整合到推断编译中，而无需对模型进行重写？
• RQ4 当朴素估计器无声失败时，所提出的估计器是否仍能收敛到正确的后验分布？
• RQ5 该方法能否在通用概率编程框架中以最小改动实现通用化，且与现有推断流水线兼容？

主要发现

• 所提出的估计器保证了在具有无界拒绝采样循环的程序中，重要性采样具有有限方差，而朴素方法可能具有无限方差。
• 即使拒绝迭代次数无界且提议分布通过推断编译学习得到，该方法仍能实现稳定收敛和正确的后验估计。
• 实证评估表明，与朴素推断编译相比，所提出的估计器在具有拒绝采样循环的模型中表现出更快的收敛速度和更高的准确性。
• 理论分析确认，即使单个重要性权重具有有限方差但其乘积无界，该估计器在温和正则性条件下仍保持有效且具有有限方差。
• 该方法使原本因重要性采样中无限方差导致无声失败的模型实现了正确推断，尤其适用于模拟器和约束分布。
• 该方法与现有通用概率编程框架兼容，可无缝集成到使用神经提议网络的推断编译流水线中。