[论文解读] Divide, Conquer, and Combine: a New Inference Strategy for Probabilistic Programs with Stochastic Support

Yuan Zhou, Hongseok Yang+2 more|arXiv (Cornell University)|Jul 12, 2020

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文提出了一种名为 Divide, Conquer, and Combine（DCC）的新推理框架，用于处理支持集随执行过程动态变化的随机支持概率程序。通过将推理分解为模块化、可重用的组件，并利用加权平均组合结果，DCC 显著优于现有方法，尤其在非标准模型中表现突出，在三个基准示例上实现了显著的性能提升。

ABSTRACT

Universal probabilistic programming systems (PPSs) provide a powerful framework for specifying rich probabilistic models. They further attempt to automate the process of drawing inferences from these models, but doing this successfully is severely hampered by the wide range of non--standard models they can express. As a result, although one can specify complex models in a universal PPS, the provided inference engines often fall far short of what is required. In particular, we show that they produce surprisingly unsatisfactory performance for models where the support varies between executions, often doing no better than importance sampling from the prior. To address this, we introduce a new inference framework: Divide, Conquer, and Combine, which remains efficient for such models, and show how it can be implemented as an automated and generic PPS inference engine. We empirically demonstrate substantial performance improvements over existing approaches on three examples.

研究动机与目标

• 解决通用概率编程系统（PPSs）在支持集随执行过程变化的模型上推理性能差的问题。
• 克服现有推理引擎在这些模型中常退化为从先验进行重要性采样的局限性。
• 设计一种通用、自动化的推理引擎，兼容通用 PPSs，同时在非标准模型中保持高效与准确。
• 实现在模型结构在运行间不固定的概率程序中可扩展且鲁棒的推理，例如涉及动态条件或分支的程序。

提出的方法

• 通过基于执行路径将模型划分为条件独立的组件，将推理问题分解为更小、更易管理的子问题。
• 对每个子问题独立应用专用推理技术（例如 MCMC、变分推理），从而实现按组件定制的方法。
• 利用针对子模型局部结构优化的高效推理算法来解决每个子问题。
• 通过考虑每条执行路径概率的加权平均方案，组合各独立推理的结果。
• 通过静态分析程序以识别分解点和路径概率，在通用 PPS 中自动化整个流水线。
• 通过在分解与重组阶段保持概率一致性，确保正确性与效率。

实验结果

研究问题

• RQ1 如何在支持集随执行过程变化的概率程序中实现高效且准确的推理？
• RQ2 所提出的 Divide, Conquer, and Combine 框架在具有随机支持的模型上相较于现有推理引擎的性能提升程度如何？
• RQ3 能否设计一种可扩展至多样化非标准概率模型的通用、自动化推理策略？
• RQ4 路径特定推理与加权组合对整体推理质量与收敛速度有何影响？

主要发现

• 在三个具有随机支持的基准模型上，Divide, Conquer, and Combine 框架相较于现有推理方法实现了显著的性能提升。
• 在支持集随执行过程变化的模型中，DCC 避免了标准 PPS 推理引擎常出现的性能退化问题，后者通常退化为从先验进行重要性采样。
• 该框架即使在涉及动态结构的复杂模型中（如具有随机分支或条件的模型）也能保持高精度与高效性。
• 实证评估证实，与基线方法相比，DCC 降低了推理误差并提升了收敛速度。
• 分解与重组策略使得能够有效利用针对每个子模型的专用推理技术，从而提升整体推理质量。
• 该方法完全自动化且通用，无需针对特定模型进行调优，可广泛适用于各类通用 PPSs。