[论文解读] C3: Lightweight Incrementalized MCMC for Probabilistic Programs using Continuations and Callsite Caching

Daniel Ritchie, Andreas Stuhlmüller+1 more|arXiv (Cornell University)|Sep 7, 2015

Bayesian Modeling and Causal Inference参考文献 9被引用 8

一句话总结

C3 提出了一种轻量级的源到源转换方法，通过结合连续传递风格（CPS）和调用点缓存，加速了马尔可夫链蒙特卡洛（MCMC）推理。该方法实现了提案的增量式重新执行，将提案运行时间减少了20–100倍，并在某些模型中实现了常数时间更新，复杂过程建模任务的性能提升接近10倍。

ABSTRACT

Lightweight, source-to-source transformation approaches to implementing MCMC for probabilistic programming languages are popular for their simplicity, support of existing deterministic code, and ability to execute on existing fast runtimes. However, they are also slow, requiring a complete re-execution of the program on every Metropolis Hastings proposal. We present a new extension to the lightweight approach, C3, which enables efficient, incrementalized re-execution of MH proposals. C3 is based on two core ideas: transforming probabilistic programs into continuation passing style (CPS), and caching the results of function calls. We show that on several common models, C3 reduces proposal runtime by 20-100x, in some cases reducing runtime complexity from linear in model size to constant. We also demonstrate nearly an order of magnitude speedup on a complex inverse procedural modeling application.

研究动机与目标

• 解决现有轻量级 MCMC 框架在每次 Metropolis-Hastings 提案时重新执行整个程序所导致的效率低下问题。
• 在不牺牲与快速确定性运行时或现有库的兼容性前提下，实现无需完整重新执行的增量式提案重新执行。
• 开发一种源到源转换方法，支持在随机选择修改后对概率程序进行高效的部分重新执行。
• 在常见概率模型和复杂真实应用场景（如逆过程建模）中实现显著的性能提升。
• 提供一个实用的开源扩展，无缝集成到 WebPPL 中，与现有的确定性语言工具链兼容。

提出的方法

• 将概率程序转换为连续传递风格（CPS），以允许从调用链中的任意点开始重新执行。
• 实现调用点缓存，当输入和输出在提案间保持不变时，避免重新执行纯函数调用。
• 采用混合方法：随机选择值存储在数据库中（如轻量级 MH 所述），但通过 CPS 和缓存将重新执行限制在受影响的子轨迹上。
• 仅重新执行依赖于已更改随机选择的程序轨迹部分，隐式利用马尔可夫毯结构。
• 在随机选择点选择性地应用 CPS 转换和缓存，避免全程序转换的开销。
• 将系统作为 WebPPL 概率编程语言内的源到源编译器阶段进行集成。

实验结果

研究问题

• RQ1 轻量级的源到源转换能否在不依赖自定义解释器的情况下实现增量式 MCMC 重新执行？
• RQ2 连续传递风格和调用点缓存能在多大程度上减少概率程序中提案重新执行的时间？
• RQ3 C3 方法是否能在以往方法需要线性时间重新执行的模型中实现常数时间更新？
• RQ4 与基线方法相比，C3 在复杂真实应用（如逆过程建模）中的表现如何？
• RQ5 C3 是否能在保持与现有确定性语言运行时和库兼容性的前提下实现性能提升？

主要发现

• 在 HMM、主题模型、高斯混合模型和层次线性回归等常见模型上，C3 将提案运行时间减少了 20–100 倍。
• 在某些模型中，C3 将提案更新的渐近时间复杂度从与模型大小成线性关系降低到常数时间。
• 在计算机图形学中一个复杂的逆过程建模应用中，C3 实现了接近 10 倍的性能提升。
• CPS 与调用点缓存的结合使得重新执行能够提前终止，跳过未受影响的函数调用，并仅从相关延续点开始回溯。
• 仅使用调用点缓存即可通过避免冗余函数调用减少重新执行开销，而 CPS 则支持从中间点进行有针对性的重启。
• C3 系统作为 WebPPL 的开源扩展实现，证明了其与 V8 等高性能确定性运行时的实用集成能力。